Ma’lumotlar bilan ishlash - bu boshqa,yanada an’aviyroq bo’lgan manbalar kabi axborot manbai bilan ishlashning bir xil usuli. Ma’lumotlar bilan ishlash suhbatga tayyorgarlik ko’rishga o’xshaydi. Birinchidan, gipoteza tuziladi, so’ngra relevant (mos keluvchi, tegishli jihatlarni aks ettiruvchi) ma’lumotlar to’plamlari qidiriladi, raqamlar jadvallarga kiritiladi, tayyorlanadi, tahlil qilinadi va undan keyin tarix tuziladi. Тarixni sharhlar, intervyular va boshqa jurnalistik ma’lumot turlari bilan boyitish mumkin. Keyin ma’lumotlar vizualizatsiya qilinadi va unga matn tuziladi.

Data-storitellingning muhim bosqichlaridan biri bu gipotezani shakllantirishdir. Gipoteza - bu taxmin, dalilga muhtoj bo’lgan bayonotdir. Ma’lumotlar yordamida faraz tasdiqlanadi yoki rad etiladi. Kuchli gipoteza muammoni, uning sabablarini yoki ta’sir qiluvchi omillarning aniq o’lchovini ifoda etadi. Materialni yozishda siz gipotezani tekshirish uchun dalil sifatida ma’lumotlar mavjudligiga, ularga ega bo’lish mumkinligiga va ishonchli ekanligiga ishonch hosil qilishingiz kerak. Va yana juda muhim narsa shundaki, gipoteza ijtimoiy ahamiyatga ega bo’lgan muammoni aks ettiradi.


Data- jurnalistikadagi jarayon quyidagicha ko’rinishga ega bo’ladi:
1.aniqlash
2.topish
3.tekshirish
4.tozalash
5.tahlil qilib chiqish
6.taqdim etish

Jurnalistik tadqiqotlar uchun ma’lumot qidirishda tegishli ma’lumotlar massivlarini topish uchun bir qator imkoniyatlar mavjud:

Internetdagi standart qidiruv tizimlari (Google, Yandex, Yahoo va boshqalar) orqali ma’lumotlarni qidirish. Asosiy mavzu bo’yicha ma’lumotlarni standart qidirish bilan bir qatorda, qidiruv tizimlari ishining o’ziga xos xususiyatlarini hisobga olgan holda ko’proq maqsadli qidiruv so’rovlari yordamida ma’lumotlar bazalarini topish mumkin. Хususan, Google orqali, maxsus qidiruv buyruqlari yordamida ma’lum bir portalda ma’lumotlarni (u ko’p miqdordagi ochiq ma’lumotlarni saqlaydi), faqat ma’lum bir turdagi fayllarni qidirishingiz mumkin (masalan, faqatgina Excel elektron jadvallari shaklida taqdim etilgan).

Ochiq ma’lumotlar va ochiq hukumat konsepsiyasining tobora kengayib borishi davlat idoralarining rasmiy veb-saytlarida juda katta miqdordagi ma’lumotlarni topishga imkon beradi.

Таqdimotni biriktiring
Тaqdim etilgan manbalardan foydalanib, jurnalist tanlangan masalalarni yetarlicha har tomonlama tahlil qilish uchun foydalanishi mumkin bo’lgan bir qator hujjatlar va ma’lumotlar bazalarini topishi mumkin. Agar biz ochiq ma’lumotlarni yig’ishga bag’ishlangan xorijiy manbalar haqida gapiradigan bo’lsak, unda avvalambor yuzlab ma’lumotlar bazalarini, iqtisodiy ko’rsatkichlar to’g’risidagi ma’lumotlarni, raqamlarni, turli mintaqalardagi ta’limning miqdori va sifati, atrof-muhit to’g’risidagi ma’lumotlar va boshqalarni o’z ichiga olgan Amerikaning data.gov portalini va Britaniyaning data.gov.uk portalini ajratib ko’rsatishimiz kerak. Ochiq ma’lumotlarga ega nuqtali rasmiy veb-resurslardan tashqari, xalqaro data-set ma’lumotlar to’plami, masalan, datacatalogs.org, Guardian World Government Data, The Data Hub, ScraperWiki, BuzzData, Datamarket, Google Freebase va boshqalar mavjud. Тizim ma’lumotlari yordamida siz dunyo mamlakatlari bo’yicha butunlay boshqa manbalardan olingan ochiq ma’lumotlarni, shu jumladan foydalanuvchilardan olingan ma’lumotlarni topishingiz mumkin. Shu munosabat bilan, ma’lumotlar bilan ishlashda jurnalist, shuningdek, olingan ma’lumotlarning sifati va manbalarning ishonchliligini tekshirishga alohida e’tibor qaratishi kerak, chunki har qanday norasmiy portal (birinchi navbatda, foydalanuvchilar tomonidan joylashtirilgan ma’lumotlar) ochiq ma’lumotning potensial xavfli manbadir.

Portallar va ochiq ma’lumotlar agregatorlaridan tashqari, ma’lumotlarni izlash usullaridan biri bu tematik resurslar bo’yicha forumlar orqali qidirishdir. Jurnalistlar hamjamiyatining doimiy ravishdagi ma’lumotlari bilan ishlaydigan (va, ehtimol, yopiq ma’lumotlar manbalariga kirish imkoniyatiga ega bo’lgan) faol a’zolarini topishingiz mumkin bo’lgan asosiy portallar - Get The Data va Quora. Bunday forumlarda nafaqat ma’lum bir ma’lumot to’plamini so’rash va olish, balki foydalanuvchilardan ma’lum bir ma’lumotlar bazasini tozalash yoki uni vizualizatsiya qilish uchun xizmat qiladigan eng yaxshi vositalar haqida maslahat so’rash ham mumkin.

• "slovo" — kalit so’zi/jumla/gap qo’shtirnoq ichiga olinadigan so’z bo’yicha aniq qidirish
• slovo1 OR slovo2 OR slovoZ — bir nechta so’zlarni bir vaqtda qidirish. Natijalar ixtiyoriy kalit so’z uchun ko’rsatiladi.
• slovo1 AND slovo2 AND slovoZ — bir nechta so’zlarni bir vaqtda qidirish. Natijalar barcha ko’rsatilgan kalit so’zlar uchun ko’rsatiladi
• -slovo — «minus» belgisi yordamida qaysidirkalit so’zini istisno qilish
• slovo filetype:pdf — muayyan turdagi hujjatlarda kalit so’zini qidirish. pdf dan tashqari shuningdek doc, docx, xls, xlsx, ppt, pptx formatlarni ham qidirish mumkin.
• slovo site:website.com — muayyan sayt bo’yicha kalit so’zini qidirish
• slovo site:*.sot —som domenli barcha saytlarda kalit so’zini qidirish . Yulduzcha * belgisi «barcha» ni bildiradi. som domeni o’rniga boshqa domenlarni ishlatish mumkin (.kz, .kg, .uz, .tj i t.d.), shu jumladan ikkinchi pog’ona domenlarini (gov.kz va hokazo)
• site:website.com intitle:slovo — muayyan saytdagi sarlavhalarda kalit so’zini qidirish
• site.website.com inurl:keyword — muayyan saytdagi URL da kalit so’zini qidirish. Kalit so’zlari ko’pchilik holatda lotincha yoziladi.
• site-.website.com intext-.slovo — muayyan saytdagi matnlarda kalit so’zini qidirish

Yuqorida ko’rsatilgan operatorlarning ixtiyoriy kombinatsiyasini ishlatish mumkin.
Ijtimoiy tarmoqlarda qidirish uchun shuningdek quyidagi operatorlar ishlatiladi. Masalan:

• site:instagram.com/johndoe "klyuchevoye slovo" —Instagramning muayyan akkaunti bo’yicha kalit so’zini qidirish
• site:instagram.com -site:instagram.com/johndoe "klyuchevoye slovo" — muayyan akkauntsiz Instagram bo’yicha kalit so’zini qidirish

Ochiq ma’lumotlar haqidagi asosiy jamoatlarning xabarlariga obuna bo’lish. Masalan, ochiq axborot masalalari bilan shug’ullanadigan asosiy xalqaro hamjamiyat - Open Knowledge Foundation jamg’armasi muntazam ravishda ochiq ma’lumotlar va ochiq axborotlarning yangi dolzarb yirik ma’lumotlar bazalari to’g’risidagi ma’lumotlarni o’z ichiga olgan pochta jo’natmalar ro’yxatini olib boradi, bu esa barcha abonentlar uchun ochiq bo’ladi. Open Knowledge Foundation bilan bir qatorda ma’lumotlar jurnalistikasi va ochiq ma’lumotlar bilan bog’liq bir qator boshqa tashkilotlar ham mavjud bo’lib, ular muntazam ravishda monitoring olib boradi va ochiq ma’lumotlar bazalariga yangilanishlarni yuboradi: Data Driven Journalism List1 , the NICAR-L2 va boshqalar.

Rasmiy tuzilmalar yoki mutaxassislarga murojaat qilish. Ko’pgina hollarda, tadqiqot mavzusini to’g’ri tushungan holda, jurnalist ushbu tuzilmalar yoki kerakli ma’lumotlarga ega bo’lgan mutaxassislarni ham aniq biladigan bo’ladi. Ma’lumotlar bo’yicha mutaxassislar bilan bog’lanishda (ular tijorat sirini ifodalovchi ma’lumotlarga yoki hukumat tomonidan ommaviy ravishda tarqatilishini nazarda tutmaydigan ma’lumotlarga ega bo’lishlari mumkin) murojaat qilishganda, jurnalist ular bilan ishlashda qonunlarni buzish xavfi borligini yodda tutish kerak va bunda har bir alohida holatda, tegishli ma’lumotlar to’plamidan foydalanishning qonuniyligi to’g’risida yuridik maslahat kerak bo’ladi. Ma’lumotlarga API (ilovalarni dasturlash interfeysi) orqali kirish. Dasturlash ko’nikmalaridan foydalangan holda (yoki mutaxassislar xizmatidan foydalangan holda) Internetda qulay shaklda joylashtirilmagan ma’lumotlarga kirish va ularni yuklab olish mumkin bo’ladi. Masalan, agar davlat idorasi interaktiv grafik formatida hisobotlarni taqdim qilsa, u holda ma’lumotlarni parsing qilish (yozib olish) texnologiyalaridan foydalangan holda, ularni dastlab uchinchi shaxslar tomonidan ishlatilishi mo’ljallamagan, to’liq tuzilmalashtirilgan ma’lumotlar to’plamini olish mumkin bo’ladi (lekin bu ta’qiqlanmagan).

Ma’lumotlarni tozalash zarurati (ma’lumotlar bazasi bilan keyingi ishlash uchun zarur bo’lgan ma’lumotlar bazasining noto’g’ri yoki noto’g’ri elementlarini topish va tuzatish jarayoni) ochiq manbalardan olingan deyarli har qanday ma’lumotlar bilan ishlashda yuzaga keladi. Ma’lumotlarni loyihalashtirish va ma’lumotlar bazalariga kiritilgan ma’lumotlar sifatini nazorat qilish bo’yicha har bir tashkilot o’z talablarini qo’yganligi sababli, jurnalist har qanday holatda ham olingan ma’lumotlar bazasini o’rganishi kerak va agar ular birlashtirilsa, shuningdek, yagona formatga keltirishi kerak bo’ladi. Shunday qilib, turli xil jadvallarda yoki hattoki bir xil ma’lumotlar bazasida bir xil grafikalar turli usullar bilan kodlangan bo’lishiga ko’plab misollar mavjud. Jurnalist turli xil ustunlarni bitta formatga o’tkazishi kerak bo’ladi: mamlakat kodlaridan (ikki harf bilan kodlanishi mumkin, raqamlar bo’lishi mumkin, mamlakatlarning to’liq ismlari bo’lishi mumkin va hokazo) tortib eng oddiy "jinsi" ustunigacha - uni raqamlar, so’zlar yoki qisqartmalar bilan belgilash mumkin. Yana bir potensial muammo - bu sinonimlardan yoki aniq bo’lmagan ta’riflardan foydalanish, bu ham ma’lumotlarning to’g’ri ishlashini murakkablashtiradi (masalan, xuddi shu ustun ichida "talaba", "o’quvchi", "maktab o’quvchisi" kodlarini ishlatish). Bunday holda, barcha nomlarni bitta shaklga keltirish yoki ushbu xatboshidagi ma’lumotlar bazasini soddalashtirish, keyinchalik taqdim etishda noaniqliklarga yo’l qo’ymaslik kerak. Shu munosabat bilan, katta ma’lumotlar bazalari bilan ishlashda turli xil standart jadvallar o’rtasida ham, bir xil ma’lumotlar to’plamida ham asosiy qiymatlarni universal tarzda namoyish qilish uchun "lug’at" ni tayyorlash standart bo’lib qoldi.

Tozalangan va tozalanmagan ma’lumotlar rasmini toping va oldingi hamda keyingi shtorkani yarating
Bunday ma’lumotlar lug’ati doirasida butun jamoaning loyihasi ustida ishlashda bir xil qiymatlarni va noaniqliklarni har xil talqin qilinishiga yo’l qo’ymaslik uchun foydalanilgan kodlarning har biri uchun tavsif tayyorlanadi (sifatli tayyorlangan ochiq ma’lumotlar jadvallari ko’pincha kodlarning har birini tavsiflovchi hujjat bilan birga keladi). Biroq, barcha kodlarning talqini bilan kelgan "lug’at" bilan ishlashda ham, jurnalist bahsli jihatlarga diqqatli bo’lishi kerak. Masalan, Miami Herald gazetasi mast holda transport vositasini boshqarganligi uchun chiqarilgan sud hukmi to’g’risidagi statistik ma’lumotlarga asoslanib, uning materiallaridan biriga raddiya e’lon qilishga majbur bo’ldi. Jurnalistlar sudlanuvchilarning mast holda transport vositasini boshqargani uchun olgan jazolarini o’rganib chiqdilar va olingan ma’lumotlarga ko’ra, ko’rib chiqilgan ishlarning 1-2 foizida sudlanuvchilarga jarima yoki qamoq jazosi shaklidagi jazo tayinlanmagan. Biroq, shtat qonunchiligiga binoan sudya transport vositasini mast holatda boshqargan haydovchiga jazo yozishi shart edi va uning materiali bilan Miami Herald sudyalarni qonunni buzishda aybladi. Ishni batafsil o’rganib chiqqandan so’ng, ushbu 1-2% hollarda jarima solingan sudlanuvchilarning kambag’alligi va uni to’lay olmasligi sabab bo’lganligi aniqlandi, bu ularning jamoat huquqiga ega ekanligini va ular jarima o’rniga muayyan xizmat qilib berishi lozimligini anglatadi. Ushbu sharh sud qarorlari ma’lumotlar bazasining "lug’atida" bo’lmaganligi sababli, gazeta sudyalarni davlat qonunlarini buzganligi bo’yicha ayblovini rad etdi va bu rad etishini keyingi sonida nashr etishga majbur bo’ldi. Biroq, ma’lumotlar bazasini standart tozalash uchun, jurnalist yoki tadqiqotchi tushunishi kerak bo’lgan xususiyatlarni hisobga olmasdan, ma’lumotlarni tozalash bosqichida bepul vositalardan, masalan, Google Refine dan foydalanish mumkin. Ushbu yordamchi dasturdan foydalanib, jurnalist, jadvallar bilan ishlash bo’yicha dastlabki bilimlarga ega bo’lsa ham, ma’lumotlarni matnli ko’rinishini jadvalga avtomatik ravishda kiritishi, xatolar bilan kiritilgan katakchalarni avtomatik ravishda tuzatishi mumkin (ba’zi qatorlar/ustunlar va boshqalarda qaysi so’zlarning ishlatilishi tahlilidan foydalangan holda). Google Refine ko’plab nashrlar va tashkilotlar tomonidan, Chikago Тribundan tortib, ma’lumotlar bilan ishlaydigan davlat idoralarigacha, masalan, data.gov.uk tomonidan qo’llaniladi.

Yanada murakkabroq bo’llgan Open Refine dasturi. Biroq ma’lumotlarni sifatli tozalash uchun Exel bilan ishlash ko’nikmalariga ega bo’lish yetarli bo’ladi.
PDF formatidagi hujjatni biriktirish.

Katta hajmdagi ma’lumotlarni tozalash bo’yicha to’liq funksional yanada murakkab dasturiy ta’minotlarda mavjud: Python, R va boshqalarda. Ma’lumotlar bilan ishlash uchun mo’ljallangan boshqa yechimlar foydalanuvchiga ma’lumotlarni tozalash uchun deyarli cheksiz imkoniyatlarni beradi, shu jumladan ularni keyinchalik vizuallashtirish uchun.

Vizuallashtirish (infografikadan tortib interfaol veb-ilovalargacha) jurnalistikada katta hajmdagi ma’lumotlarni taqdim etishning asosiy usuli bo’lsa-da, ko’p hollarda olingan ma’lumotlarni talqin qilish muhimroqdir. Analitik material bo’ladimi yoki vizualizatsiya uchun tushuntirish yozuvi bo’ladimi, ko’pincha sodir bo’layotgan voqealarning manzarasini ochib berishga imkon beradigan natijalarni jurnalistik talqin qilish va tahlil qilish kerak bo’ladi. Shunday qilib, ko’plab jurnalistlarning ta’kidlashicha, ba’zi hollarda to’liq vizualizatsiyani e’tiborsiz qoldirish oqilona bo’ladi, ayniqsa, uni yuqori sifatli rivojlantirish uchun resurslar yetarli bo’lmagan hollarda. Buning o’rniga, jurnalistik material bilan birga "xom" ma’lumotlarni nashr etish yoki statistik grafikalar va tahlillar bilan an’anaviyroq formatdagi xulosalarni taqdim etish mumkin. Ko’pgina G’arb nashrlari ta’kidlashlaricha, ko’plab bepul, arzon yoki shartli-bepul dasturli vizualizatsiya vositalariga (Many Eyes, Overview Project, Tableau, Dipity, Google Fusion Tables) qaramay, ularning barchasi jurnalistning alohida dizayn jamoasi yordamida ishlash imkoniyatlari bilan taqqoslana olmaydi. Bepul vositalar bilan bog’liq asosiy muammo shundaki, ularning aksariyati faqat bitta yoki bir nechta standart vizualizatsiya variantlari uchun moslangan bo’ladi va ma’lum bir jurnalistik material talablariga mos ravishda yuqori sifatli vizual loyihani yaratish ishlarida zaruriy moslashuvchanlikni ta’minlay olmaydi. Vizualizatsiya bo’yicha eng yaxshi vositalarning ko’plab to’plamlaridan New York Times dan YuNESKO gacha dunyodagi eng yirik ommaviy axborot vositalari va tashkilotlari foydalanadi va ularda yangi JavaScript, HTML5, Ruby va boshqa dasturlash tillarida ishlaydigan mutaxassislar uchun qo’shimcha kutubxonalar yoki qo’shimchalar yaratilgan. D3 da vizualizatsiya qilishning minglab misollari mavjud bo’lgani uchun (JavaScript ga asoslangan render shablonlarining katta kutubxonasi) ushbu vositadan jurnalistikada foydalanish yanada qulayroq bo’ladi. Ko’p jihatdan aynan erkin vizualizatsiya vositalarining paydo bo’lishi jurnalistik doiralarda "yomon vizualizatsiya" misollari - jurnalistik materiallarda ma’lumotni tasvirlash uchun noaniq, sodda va/yoki stereotipli variantlardan foydalanish to’g’risidagi munozaralarni keltirib chiqardi.

Mana sifatsiz bo’lgan vizualizatsiyaga misol.

Jurnalistlar vizualizatsiyaning eng yaxshi yechimini topish uchun (shuningdek, prinsipial jihatdan kerakmi yoki yo’qligini hal qilish uchun) juda ko’p qoralama, yordamchi grafika yaratish kerakligi va ularning qat’iy tanlovidan keyingina, eng yaxshi usulni tanlash va kerak ma’lumotlarni taqdim etish lozim degan fikrga kelishgan. Shunday qilib, oxir-oqibat, jurnalistik materialda ma’lumotsiz vizualizatsiya yoki tugallanmagan grafikalar bo’lmasligi kerak (aniq "legenda" ko’rsatilmagan, o’qlar ostidagi yozuvlari bo’lmagan va boshqalar). Ochiq ma’lumotlar bilan ishlashda, shubhasiz, tanlangan mavzuni o’rganishda foydalanilgan manbalar va jadvallarni nashr etish talabi har bir vizuallashtirishning so’zsiz muhim jihati bo’lishi kerak.

Shu bilan birga, ekspertlarning ta’kidlashicha, tadqiqot natijalari bilan birga (xoh vizualizatsiya bo’lsin, xoh ochiq ma’lumotlar tahliliga asoslangan material bo’lsin) tozalanmagan birlamchi ma’lumotlarni emas, balki loyihaning yakuniy versiyasida jurnalist tomonidan foydalanilgan, shu jumladan o’zgaruvchilarni belgilash uchun ishlatilgan kodlar jadvallarida uchraydigan imzolar va lug’atlarni nashr etish shart. Shunday qilib, ba’zida yirik ommaviy axborot vositalari tomonidan bepul xizmat ko’rsatish vositalaridan foydalanilsa ham, aksariyat hollarda tashqi yoki ichki dizayn va ishlab chiqarish guruhlari tomonidan amalga oshiriladigan ichki ishlanmalarga ustuvor ahamiyat beriladi. Ma’lumotlar hajmini qayta ishlashdan so’ng olingan natijalarga asoslanib, ular vizualizatsiya zarurligi va uni amalga oshirishning eng yaxshi usullari to’g’risida qaror qabul qilishlari mumkin.

Agar siz baribir bepul yoki shartli bepul servislardan foydalanishga qaror qilsangiz, sizga quyidagi instrumentlar bilan tanishib chiqishni taklif etamiz:

Glossariy

Atributsiya – materialdagi axborot manbaiga ishora qilish.

Ma’lumotlarga asoslangan jurnalistika, ko‘pincha «ddj» ko‘rinishida qisqartiriladi, bu atama 2009 yildan beri qo‘llanilmoqda, bu yangiliklar yaratish yoki ularning sifatini yaxshilash uchun katta ma’lumotlar to‘plamlarini tahlil qilish va filtrlashga asoslangan jurnalistik jarayondir. Ma’lumotlar bilan boshqariladigan jurnalistika –

Mashina o‘qiy oladidigan ma’lumotlar – bu kompyuter qayta ishlashi mumkin bo‘lgan formatda yozilgan ma’lumotlar. Mashina o‘qiy oladidigan ma’lumotlar tuzilmalashtirilgan ma’lumotlar bo‘lishi lozim.

Ma’lumotlar modeli - bu ma’lumotlar elementlarini tartibga soluvchi va ularning bir-biriga va haqiqiy shaxslar xususiyatlariga bo‘lgan munosabatlarini standartlashtiradigan mavhum model. Masalan, ma’lumotlar modeli avtomobilni ifodalovchi ma’lumotlar elementi boshqa bir qator narsalardan iborat ekanligini aniqlab berishi mumkin, ular o‘z navbatida avtomobilning rangi va hajmini ifodalaydi va uning egasini aniqlaydi.

Ma’lumotlarni tozalash (ingl. Data cleansing)- bu ma’lumotlarni sifatini yaxshilash maqsadida xatolar va nomuvofiqliklarni aniqlash va ularni tuzatish jarayoni, ba’zida ma’lumotlar intellektual tahlil qilishning ajralmas qismi sifatida tasniflanadi.

Ma’lumotlarni vizuallashtirish — bu ma’lumotlarni inson uchun ularni o‘rganish bo‘yicha engsamarali ishlashini ta’minlaydigan ko‘rinishda taqdim etish.

Veb-skreyping (yoki skreping, yoki skraping← ingl. web scraping) — veb-resurslar sahifalaridan chiqarib olish yordamida veb-ma’lumotlarni olish texnologiyasi. Veb-skreypingni kompyuter foydalanuvchisi qo’lda qilishi mumkin, biroq bu atama odatda avtomatlashtirilgan jarayonlarni nazarda tutadi