Анализа: Твитеров експеримент провере чињеница са скупом публиком открива проблеме

Поинтерова анализа је показала да мање од половине корисника Бирдватцх-а укључује изворе, а многе белешке о провери чињеница садрже пристрасну реторику.

Верзија Твиттеровог алгоритма Бирдватцх од 14. фебруара је појачала неке белешке са погрешним информацијама.

5. фебруара, Твитер је обележио објава контроверзног Јутјубера Тима Пула који је рекао да су председнички избори у САД 2020. били намештени. Платформа је навела да је тврдња оспорена и искључила ангажман „због ризика од насиља“.

Али, даље Бирдватцх , платформа друштвених медија експериментисати у проверавању чињеница у скупу , корисници су великом већином рекли да твит није обмањујући, према анализи података Твитера од 14. фебруара. И већина корисника Бирдватцх-а навела је у алату да сматрају да су ове белешке које подржавају разоткривене тврдње корисне и информативне.

„Према службеном (сиц) извору ТИМЕ-а постојала је добро организована група тајних учесника у организацији у сенци која звучи као завера која је радила заједно да утиче на изборе у корист Џоа Бајдена“, стоји у једној белешци. Док корисник укључује везу до чланак часописа Тиме који заиста користи речи као што су „кабала“ и „завера“, контекст дела – да су моћне групе радиле иза кулиса на заштити изборног интегритета – је изгубљен.

Тхе Алгоритам за посматрање птица , који има за циљ да прикаже корисне белешке, доделио је тој „провери чињеница“ оцену корисности од 0,68 — највишу од напомена на твиту, одмах изван првих 10% белешки које алгоритам сматра „корисним“ од 14. фебруар. Корисне белешке чине око 7% од 2.695 у овој анализи, а мање од две трећине њих садржи линк извора који није још један твит.

17. фебруара, Твитер променио свој алгоритам и белешке на Поол твиту више нису оцењене као корисне, иако јесу су и даље наведени испод поста . Пре ове промене, постојао је нижи праг који би се сматрао корисним — само 0,5 у поређењу са новом границом од 0,84 — а белешкама су биле потребне само три оцене да би се сматрале корисним, поређане по приоритету и означене плавом напоменом.

Сада белешка мора да добије пет оцена да би гурнула тај твит у нова картица „оцењено корисно“ у Бирдватцх-у . А од тих скоро 2.700 белешки у бази података платформе, 126 је испунило нови праг - то је мање од 5%. Три четвртине нових „корисних“ белешки садржале су извор изван Твитера.

То је правовремена илустрација једног од проблема са којима се суочава модел Бирдватцх-а: може ли алгоритам који храни наизглед насумична група људи икада тачно „оценити“ истину?

Бирдватцх, у својој пилот фази са нешто више од 1.000 корисника, омогућава учесницима да означе твитове као обмањујуће и додају белешку која цитира извор и/или објашњава контекст зашто би то могло да доведе у заблуду. Затим, корисници Бирдватцх-а могу да рангирају ове белешке на основу корисности (након тога преузима алгоритам).

На крају, сви корисници Твитера ће наводно моћи да виде ове белешке одмах испод твитова, али за сада су ограничени на одређени део сајта . Корисници Бирдватцх-а ће такође на крају изградити оцену репутације која ће се унети у алгоритам за помоћ.

„Наш циљ са пилотом Бирдватцх-а је да изградимо систем у коме свако може да допринесе, а који природно подиже информације које људи сматрају кориснима“, рекао је Твитер потпредседник производа Кеитх Цолеман у е-поруци. „Верујемо да је отвореност у погледу тога ко може да допринесе важна и да се путем доприноса различитих група могу подићи најкорисније белешке.

Али, поглед на систем какав је сада открива изазове које су проверачи чињеница покренули у вези са Бирдватцх-ом: недостатак стручности за проверу чињеница међу корисницима, потешкоће у креирању алгоритма који ће некако извући корисне белешке најугледнијих корисника и питања о партизанским мотивацијама корисника.

„Нисам изненађен тим налазима с обзиром на поларизовану природу платформи друштвених медија и оклијевање мејнстрим корисника да дају повратну информацију на таква питања која нуде платформе, док мотивисани корисници са обе стране пролаза виде платформе као бојно поље за промовисање својих наратива. други“, рекао је Бејбарс Орсек, директор Међународне мреже за проверу чињеница.

Већина белешки најплоднијих корисника Бирдватцх-а означава твитове који критикују десницу као „обмањујуће“, а оне који критикују левицу као „не обмањују“. (На пример, корисник је означио твит који каже „ Тим Бајдена је благ према Кини ” од сенатора Теда Круза и Пула твитују као „не обмањују”; док чланак Невсвеек-а о крајње десничарским екстремистима и ГамеСтоп саги и твит везивање председника Доналда Трампа за побуну у Капитолу означено је као „обмањујуће“ и „штетно“.) А мање од једне петине од 82 белешке корисника укључује извор, од којих су неки други твитови. (Овај корисник Бирдватцх-а није одговорио на захтев за интервју.)

Колман је рекао да се Бирдватцх може подстаћи да размотри белешке које долазе од „различитих сарадника“. Даље, систем оцењивања је главни покретач платформе

„Верујемо да ће ово наградити и подстаћи доприносе које многи људи сматрају вредним и решити ризик да једна специфична група или идеологија преузме Бирдватцх“, рекао је Колман. 'Ово је нешто на чему ћемо активно радити током пилота.'

И заиста, белешке које је алгоритам рангирао као најкориснији након промена од 17. фебруара показују солиднији извор и мање пристрасну реторику од итерације од само дан раније. Али, промена алгоритма за пилот програм са 1.000 корисника и мање од 2.700 белешки је једна ствар, а промена алгоритма након што Бирдватцх буде доступан за све кориснике је друга — и ко зна да ли ће ефикасност алгоритма издржати када корисници почну да сипају у платформу, можда реплицирајући понашање неких од најплоднијих пилот учесника.

„Тренутно немамо одређени временски оквир за скалирање, јер радимо на томе да научимо што је више могуће и поновимо док је пилот мали“, рекао је Колман. „Планирамо да се повећамо како то можемо безбедно да урадимо и када то може да помогне у побољшању учења.“

Ипак, као и код белешки испод твита Пула, постоје примери партизанских или обмањујуће информације и даље видљиве као редовне белешке.

Четири од пет најактивнијих корисника, који чине више од 10% укупних белешки, имају сличну активност као најплоднији корисник. Један од њих тврди да се смрт Џефрија Епстајна никада није сматрала самоубиством. Међутим, други најплоднији посматрач птица наводи извор у свакој белешци, укључујући везе из Светске здравствене организације и ФацтЦхецк.орг .

Ниједан од 10 најбољих корисника, према њиховој биографији на Твиттеру, није професионални проверивач чињеница или новинар.

„Провера чињеница је заправо тежак посао јер је ментално захтевна“, рекла је главна уредница Политифакта Енџи Холан у е-поруци. „Заиста морате да се концентришете и прогурате кроз менталну инерцију да бисте идентификовали тврдње, а затим смислили начине за њихово разоткривање или верификовање. Затим морате наставити са претраживањем, а затим записивањем налаза. Није дан на плажи, отворено речено. А ако особа која проверава чињенице има пристрасну мотивацију, то чини темељан и непристрасан напор још тежим.”

Упркос проблемима, Бирдватцх обележава дезинформације које традиционални проверачи чињеница могу пропустити или не желе да проверавају због потенцијалне штете — што би могло помоћи да се попуне неке празнине у дигиталним дезинформацијама. Током игра стоп сага , дезинформације о акцијама те компаније брзо су се шириле по платформама.

Снопес и ПолитиФацт није оценио тврдње у вези са ГамеСтоп-ом, док Оцењене Леад Сториес један пост на Реддиту. Али на Бирдватцх-у, белешка са највећом оценом – са оценом корисности 1,00 – означила је обмањујући твит о Реддиту, где се водио разговор о акцијама. Било је око 50 белешки о Реддиту, ГамеСтоп-у и инвестиционој апликацији Робинхоод, на којима се раније овог месеца догодио велики обим трговања.

Корисници Бирдватцх-а исправно су означили налог који тврди да припада сенаторки из Вирџиније Аманди Чејс као лажан, након тога твитовао , „... Имамо проблем са дрогом у Вирџинији, а легализација марихуане ће само довести до више предозирања марихуаном и смрти…“

Цровдсоурцинг може олакшати живот професионалним контролорима чињеница откривањем дезинформација, рекао је Орсек.

Колман је рекао да је Твитер посвећен одржавању транспарентности - што је омогућило ову анализу - и укључивању доприноса стручњака о будућности платформе.

„Из рада са уграђеним чланом тима из Центар за РИСЦ Универзитета у Чикагу , да бисмо организовали сесије повратних информација са новинарима и истраживачима, радимо на томе да искористимо огромну количину стручности и знања које постоји изван Твитера“, рекао је он.

Холан и Орсек препоручују подстицаје и обуку за кориснике Бирдватцх-а, као и упошљавање професионалних проверача чињеница да би проверили белешке високог ранга.

„Али ја сам прилично сумњичав према технолошким компанијама које верују да ће њихови корисници бесплатно модерирати садржај за њих“, рекао је Холан. „Већина корисника не види свој посао да помогну платформама да воде своје пословање.