10 алата који могу помоћи новинарима са подацима да боље раде, буду ефикаснији

Тешко је бити подједнако добар у свим задацима који спадају у дата новинарство. Да ствари буду још горе (или боље, заиста), новинари података откривају и примењују нове методе и алате све време.

Као почетник новинара података, желећете да развијете осећај за алате које други користе за обављање посла коме се дивите. Нећете моћи да их научите све одједном, и не би требало да покушавате. Међутим, требало би да развијете неку врсту амбијенталне свести о алатима који се користе (нешто попут знања које вам Фацебоок даје о животима ваших другова из средње школе). Чувајте листу алата за проверу. Погледајте демонстрације и прегледајте документацију или код. Затим, када ваши пројекти створе потребу, запамтићете довољно да започнете.

Међутим, одмах изаберите један или два алата и учините их делом свог ДНК. Изаберите алат и исцедите из њега све што можете. Прочитајте све што можете пронаћи о томе. Научите сваку идиосинкразију и оптимизацију. Купите шољу за кафу са тастерима за пречице на њој. Само будите спремни да узмете нови алат када осетите штипање које каже да мора да постоји лакши начин. Испод је 10 алата који су део појаса алата скоро сваког новинара података.

1. Табела

Скоро сваки новинар података почиње са табелом. (Откривање: Ја сам овде изузетак, као и неки други програмери-новинари. Научио сам да користим табеле за рад са својим колегама који се ослањају на њих.)

Табела је скоро универзалан формат података, посебно ако своје податке чувате као датотеку са разграниченим обичан текст, као што је датотека са вредностима раздвојеним зарезима. Свако или већ има комерцијални програм за табеларне прорачуне или може лако да преузме а бесплатно један, а модерне апликације за табеларне прорачуне су изузетно разноврсне.

Има их неколико сајтови и курсеви доступно да вам помогне да развијете вештине у табели. Почните са сортирањем, филтрирањем и међузбировима и пређите на напредније формуле. Док научите да користите формуле, покушајте понекад да их унесете директно, уместо да користите чаробњаке. Ова пракса ће вам дати ближе знање о формулама које користите, а такође ће вам помоћи да почнете да изражавате своје идеје у коду, што ће вам добро доћи када будете узимали друге алате.

2. СКЛ

После неког времена, можда ћете почети да осећате штипање због ограничења табела. Многи новинари података прелазе ка менаџеру релационих база података (нпр. СКЛите, МиСКЛ, ПостгреСКЛ, Аццесс) када имају више од две табеле за спајање или веома велике скупове података за упит. СКЛ омогућава вам да опишете тачно подскуп података које желите да издвојите или тачне промене које желите да направите, и омогућава вам да извршите ове упите преко повезаних скупова података. Такође можете да сачувате своје команде као скрипту, тако да можете да документујете све што сте урадили са подацима и можете аутоматски да поновите те кораке у будућем скупу података.

Скоро сваки програм за релационе базе података користи неку врсту СКЛ-а, тако да када научите основе (неколико десетина кључних речи и неке интерпункције), можете да постављате упите базама података у било ком броју система, бесплатних и комерцијалних. Такође, релационе базе података се често користе за складиштење података у Веб апликацијама, тако да ваше знање о СКЛ-у може бити директно корисно у Веб развоју.

Ево упутства да бисте започели.

3. Алати за чишћење података

Сви скупови података су „прљави“. Поновите то себи три пута кад год отворите лаптоп.

Да бисте очистили податке и претворили их у користан формат, вероватно ћете користити разне алате. Мој омиљени је Гоогле Рефине , који помало личи на табелу, али је намењен стварима као што је стандардизовање имена како бисте могли да креирате поуздане бројеве. (Можда желите да се „Јохн Смитх“, „Смитх, Јохн“ и „Јохн К. Смитх“ рачунају као једна особа, на пример, а не као три). Користећи Гоогле Рефине Екпрессион Лангуаге , моћи ћете да радите софистициране трансформације података и учинићете још један корак у изражавању себе у коду. ( Дата Вранглер је нови алат са неким функцијама сличним Рефине-у који такође вреди проверити.)

Такође би требало да постанете свесни алата у вашем оперативном систему који могу помоћи у управљању датотекама и подацима у њима. Ако користите ОСКС или Линук, јесте али, авк, греп и наћи . (Постоје луке и за Виндовс.) Користећи ове услужне програме, можете почети да истражујете и масирате своје податке чак и без муке да отворите табеларни програм или програм базе података.

И док гледате алате командне линије, погледајте ЦСВКит , невероватан скуп алата — који су развили новинари — који ће вам помоћи да радите магију у том уобичајеном формату.

4. Алати за визуелизацију

Визуелизација није декорација. То није нешто што само прати и илуструје дата новинарство; то је централно за задатак. Добра визуализација ће вам омогућити да видите одлике и трендове на начине који могу дубоко да промене ваше разумевање података.

Већина апликација за табеларне прорачуне има барем основне графиконе и графиконе (и често софистицираније визуализације доступне преко додатака). Неколико алата за визуелизацију заснованих на вебу постаје стандардна цена. Проверити Гоогле Фусион Таблес и Јавни одбор . Оба нуде једноставност употребе и неке прилично импресивне резултате.

На крају ћете можда пожелети нешто флексибилније и моћније; стручњаци се често окрећу нечему попут отвореног кода Р статистички пакет, који комбинује моћне алате за аналитику и визуелизацију у робусном програмском језику.

5. Софтвер за мапирање

Гоогле Фусион табеле и Таблеау Публиц укључују брзе и интуитивне могућности мапирања. Када вам ниједна од њихових мапа не донесе оно што желите, погледајте бесплатне КГИС пакет за мапирање. (Или, ако ваша редакција има резервну лиценцу, АрцВиев је моћна комерцијална опција.) За увод у КГИС усредсређен на новинаре, погледајте ово Приручник .

Постоје и просторна проширења за менаџере база података која могу помоћи у постављању географских питања о вашим подацима. Они проширују могућности СКЛ-а тако да укључују упите о географији, као што је идентификација локација унутар границе (нпр. округ или конгресни округ). ПостГИС и СпатиаЛите су бесплатна и популарна решења.

6. Скриптни језик

Изаберите језик, купите књигу, решите проблем. Учење програмирања брзо ће проширити ваш домет као новинара података: Влада вам неће дати податке који стоје иза веб странице? Остружите га. Не можете да добијете податке у облику који желите користећи постојеће алате? Изградите своје. Постоји опојна моћ да постанете не само корисник софтвера, већ и креатор софтвера.

Ипак, није толико битно који језик одаберете Питхон и Руби чини се да су тренутни фаворити међу новинарима. Ако неко кога познајете већ ради са Перл или ПХП и вољан је да вам помогне да започнете, можда бисте желели да почнете тамо. Као и код природних језика, када једном научите један, учење следећег је лакше, а учење да размишљате као програмер је много важније од учења одређене синтаксе. (Такође, кул деца ће можда користити нешто сасвим друго до тренутка када постанете вешти језиком овог тренутка.)

Ако желите да почнете са веб стругањем, погледајте ПроПублица-ин одличан водич за стругање . СцраперВики је још један начин да поквасите ноге и научите својим примером. Научите да програмирате је одличан увод у концепте програмирања који користи Руби као циљни језик.

7. Веб оквир

Без обзира да ли правите алате за себе или креирате апликације за свет, ако правите за Веб, потребан вам је веб оквир: дјанго за Питхон, Шине за Руби , симфони за ПХП, Катализатор за Перл, изаберите.

Оквир ће вам спречити досадан посао који се понавља, помоћи ће вам да усвојите најбоље праксе, одржати вас организованим и олакшати сарадњу са другима. Многи оквири долазе са програмом за инсталацију једним кликом који може помоћи у ублажавању бола у почетку. Погледајте Битнами дјанго и Руби гомиле, на пример.

Током израде веб алата, покупићете приличну количину ХТМЛ-а и ЦСС-а. Али сви знаци указују на све већи значај ЈаваСцрипт-а у целокупном развоју веба. Ако желите да се ваша веб апликација више осећа као десктоп апликација, упознајте неки ЈаваСцрипт, посебно библиотеке као нпр јКуери .

8. Флексибилан уредник

Да бисте писали код, потребан вам је уређивач кода. То значи уређивач који не убацује паметне, отмјене знакове у ваш текст (гледајући вас, Мицрософт Ворд) и надамо се да додаје нека звона и звиждаљке као што је бојање синтаксе специфичне за језик, што ће вам помоћи да лако идентификујете кључне речи и други језик елементе док куцате.

Нема сигурнијег начина да започнете штреберску свађу него да питате који је уређивач кода најбољи. ТектМате (за Мац) је одржива комерцијална опција. И Нотепад++ (за Виндовс) је добра бесплатна опција. Ту су и бесконачно прилагодљиве опције отвореног кода ДОШАО САМ и Емацс . Ипак, будите спремни на криву учења са сваким од њих. На крају, неки Јава програмер ће предложити да вам треба фулл Интегрисано развојно окружење . Ако вам неко помаже да научите да кодирате, усвојите његовог или њеног уредника и научите све пречице и конфигурационе трикове које можете. Едитор је најличнији алат, а ви ћете желети да се ваш осећате као код куће.

9. Контрола ревизије

Никад не грешиш? Никада не желите да сарађујете ни са ким? Онда вам можда и не треба контрола ревизије . Али вреди га користити ако желите елегантан начин чувања резервних копија, испробавање ствари на привременим верзијама датотека и спајање вашег рада са другима. Можда је најлакши начин да научите контролу ревизија да користите Гитхуб . Такође можете инсталирати иди или Субверзија локално.

10. Алати за анализу докумената

Можда је сада најузбудљивија граница у дата новинарству покушај да се велики скупови докумената третирају као подаци. ДоцументЦлоуд пружа згодан интерфејс за попуштање веза ПДФ формата, омогућавајући претрагу по документима и издвајање тачака интересовања.

Јигсав је софтвер за десктоп рачунаре који је користан за кретање кроз релативно велики скуп докумената. На крају ћете можда желети да погледате рачунарски језички потенцијал пакета као што је Пајтонов комплет алата за природни језик или Станфорд ЦореНЛП . И зато што су новинари управо загребали површину овог простора, новог алата који документе третирају као податке који се стално појављују.

Ово је друга прича у дводелној серији о дата новинарству. Прву причу, „5 савета за почетак у дата новинарству“, можете прочитати овде.

Ова прича је такође део Поинтера Хакови/Хакери серија са Како да се фокусира на оно што новинари могу научити од насталих трендова у технологији и нових алата.

Исправка: Ранија верзија ове приче је навела да корисници морају да плате за Нотепад++. У ствари, то је бесплатно.