Analiza: crowdsourcingowy eksperyment sprawdzania faktów na Twitterze ujawnia problemy

Analiza Poyntera wykazała, że ​​mniej niż połowa użytkowników Birdwatch zawiera źródła, a wiele notatek weryfikujących fakty zawiera retorykę stronniczą.

Wersja algorytmu Birdwatch z 14 lutego wzbogaciła niektóre notatki o wprowadzające w błąd informacje.

5 lutego Twitter oflagowany post kontrowersyjnego YouTubera Tima Poola powiedział, że wybory prezydenckie w USA w 2020 r. zostały sfałszowane. Platforma zauważyła, że ​​roszczenie zostało zakwestionowane i wyłączyła zaangażowanie „ze względu na ryzyko przemocy”.

Ale dalej Zegarek ptaków , platforma mediów społecznościowych eksperymentować z crowdsourcingowym sprawdzaniem faktów , użytkownicy w zdecydowanej większości stwierdzili, że tweet nie wprowadza w błąd, zgodnie z analizą danych z Twittera z 14 lutego. Większość użytkowników Birdwatch wskazała w narzędziu, że te notatki, które wspierały obalone twierdzenia, okazały się pomocne i pouczające.

„Według oficjalnego (sic!) źródła CZASU istniała dobrze zorganizowana grupa tajnych uczestników w organizacji cienia, która brzmi jak kabała, która pracowała razem, aby przechytrzyć wybory na korzyść Joe Bidena” – czytamy w jednej z notatek. Podczas gdy użytkownik zawiera link do artykuł w Time Magazine który rzeczywiście używa słów takich jak „kabała” i „spisek”, kontekst tego utworu – że potężne grupy pracowały za kulisami, aby chronić uczciwość wyborów – zostaje utracony.

ten Algorytm obserwacji ptaków , który ma na celu ujawnienie przydatnych notatek, przypisał temu „sprawdzeniu faktów” wynik użyteczności 0,68 — najwyższy z notatek w tweecie, tuż poza górnymi 10% notatek uznanych przez algorytm za „ocenione jako pomocne” na dzień 14 lutego. Notatki z oceną pomocną stanowiły około 7% z 2695 w tej analizie, a mniej niż dwie trzecie z nich zawiera link źródłowy, który nie jest kolejnym tweetem.

17 lutego, Twitter zmienił swój algorytm a notatki w tweecie Pool nie są już oceniane jako pomocne, chociaż są nadal wymienione pod postem . Przed tą zmianą istniał niższy próg, który należało uznać za pomocny — tylko 0,5 w porównaniu z nowym punktem odcięcia 0,84 — a notatki potrzebowały tylko trzech ocen, aby były pomocne, uszeregowane według ważności i oznaczone niebieską notatką.

Teraz notatka musi zebrać pięć ocen, aby umieścić ten tweet w nowa zakładka „ocenione pomocne” w Birdwatch . A z tych prawie 2700 notatek w bazie danych platformy 126 osiągnęło nowy próg — to mniej niż 5%. Trzy czwarte nowych „ocenionych pomocnych” notatek zawierało źródło spoza Twittera.

Jest to aktualna ilustracja jednego z problemów, z jakimi boryka się model Birdwatch: czy algorytm zasilany przez pozornie przypadkową grupę ludzi kiedykolwiek dokładnie „oceni” prawdę?

Birdwatch, w fazie pilotażowej z nieco ponad 1000 użytkownikami, pozwala uczestnikom oznaczać tweety jako wprowadzające w błąd i dodawać notatkę, która cytuje źródło i/lub wyjaśnia kontekst, dlaczego może to wprowadzać w błąd. Następnie użytkownicy Birdwatch mogą uszeregować te notatki na podstawie ich przydatności (po tym przejmuje algorytm).

Ostatecznie wszyscy użytkownicy Twittera będą mogli pozornie zobaczyć te notatki tuż pod tweetami, ale na razie są one ograniczone do konkretna sekcja witryny . Użytkownicy Birdwatch ostatecznie zbudują również ocenę reputacji, która zostanie uwzględniona w algorytmie przydatności.

„Naszym celem w ramach pilotażowego programu Birdwatch jest zbudowanie systemu, w którym każdy może wnieść swój wkład, i który w naturalny sposób wzbogaci informacje, które ludzie uznają za pomocne” – powiedział wiceprezes Twitter ds. produktu Keith Coleman w e-mailu. „Wierzymy, że otwartość na to, kto może wnieść swój wkład, jest ważna, a dzięki wkładowi zróżnicowanej grupy można podnieść najbardziej przydatne notatki”.

Spojrzenie na obecny system ujawnia jednak wyzwania, które weryfikatorzy faktów podnieśli w związku z Birdwatch: brak wiedzy w zakresie sprawdzania faktów wśród użytkowników, trudność w stworzeniu algorytmu, który w jakiś sposób ujawni przydatne uwagi najbardziej renomowanych użytkowników oraz pytania o partyzanckie motywacje użytkowników.

„Nie jestem zaskoczony tymi odkryciami, biorąc pod uwagę spolaryzowany charakter platform mediów społecznościowych i niechęć użytkowników głównego nurtu do przekazywania informacji zwrotnych na takie zapytania oferowane przez platformy, podczas gdy zmotywowani użytkownicy z obu stron przejścia postrzegają platformy jako pole bitwy, aby promować swoje narracje innych”, powiedział Baybars Örsek, dyrektor Międzynarodowej Sieci Kontroli Faktów.

Większość notatek najbardziej płodnych użytkowników Birdwatch oznacza tweety krytyczne wobec prawicy jako „wprowadzające w błąd”, a te krytyczne wobec lewicy jako „nie wprowadzające w błąd”. (Na przykład użytkownik zaznaczył tweeta, który mówi „ Zespół Biden jest miękki w Chinach ” od senatora Teda Cruza i tweeta Poola jako „nie wprowadzający w błąd”; dopóki artykuł w Newsweeku o skrajnie prawicowych ekstremistach i sadze GameStop i tweet wiązanie prezydenta Donalda Trumpa z zamieszkami na Kapitolu zostało oznaczone jako „mylące” i „szkodliwe”.) A mniej niż jedna piąta 82 notatek użytkownika zawiera źródło, z których kilka to inne tweety. (Ten użytkownik Birdwatch nie odpowiedział na prośbę o wywiad.)

Coleman powiedział, że Birdwatch może być zachęcany do rozważenia notatek pochodzących od „różnorodnego zestawu współpracowników”. Co więcej, system oceny jest głównym motorem platformy

„Wierzymy, że nagrodzą one i zachęcą do wkładu, który wielu ludzi uważa za wartościowy, i zajmą się ryzykiem przejęcia Birdwatch przez jedną konkretną grupę lub ideologię” – powiedział Coleman. „To jest coś, nad czym będziemy aktywnie pracować przez cały okres pilotażowy”.

I rzeczywiście, notatki, które algorytm uznano za najbardziej pomocne po zmianach z 17 lutego, pokazują bardziej solidne źródło i mniej stronniczą retorykę niż iteracja sprzed zaledwie dnia. Ale zmiana algorytmu dla programu pilotażowego z 1000 użytkowników i mniej niż 2700 notatkami to jedno, zmiana algorytmu, gdy Birdwatch będzie dostępny dla wszystkich użytkowników, to co innego – i kto wie, czy skuteczność algorytmu utrzyma się, gdy użytkownicy zaczną nalewać na platformę, być może replikując zachowanie niektórych z najbardziej płodnych uczestników pilotażu.

„Obecnie nie mamy konkretnego harmonogramu skalowania, ponieważ pracujemy nad tym, aby nauczyć się jak najwięcej i iterować, gdy pilotaż jest mały” – powiedział Coleman. „Planujemy zwiększyć skalę, ponieważ jesteśmy w stanie to zrobić bezpiecznie i kiedy może to pomóc w poprawie uczenia się”.

Mimo to, podobnie jak w przypadku notatek pod tweetem Poola, są przykłady partyzantki lub informacje wprowadzające w błąd nadal widoczne jako zwykłe notatki.

Czterech z pięciu najaktywniejszych użytkowników, którzy stanowią ponad 10% ogólnych notatek, wykazuje podobną aktywność jak najbardziej płodny użytkownik. Jeden z nich twierdzi, że śmierć Jeffreya Epsteina nigdy nie była uznana za samobójstwo. Jednak drugi najbardziej płodny obserwator ptaków cytuje źródło w każdej notatce, w tym linki ze Światowej Organizacji Zdrowia i FactCheck.org .

Żaden z 10 najlepszych użytkowników, według ich biografii na Twitterze, nie jest profesjonalnymi sprawdzaczami faktów ani dziennikarzami.

„Sprawdzanie faktów to w rzeczywistości ciężka praca, ponieważ jest wymagająca psychicznie” – powiedziała redaktor naczelna PolitiFact, Angie Holan w e-mailu. „Naprawdę musisz się skoncentrować i przebić się przez inercję umysłową, aby zidentyfikować roszczenia, a następnie przeprowadzić burzę mózgów, jak je obalić lub zweryfikować. Następnie musisz kontynuować poszukiwania, a następnie zapisywać wyniki. To nie jest dzień na plaży, mówiąc wprost. A jeśli osoba weryfikująca fakty ma partyzancką motywację, to dokładny i bezstronny wysiłek jest jeszcze trudniejszy”.

Pomimo swoich problemów Birdwatch sygnalizuje dezinformację, którą tradycyjne kontrolery faktów mogą przeoczyć lub nie sprawdzają ze względu na potencjalne szkody – co może pomóc wypełnić pewne luki w cyfrowej dezinformacji. Podczas gra o zatrzymaniu gry , dezinformacja o akcjach tej firmy szybko rozprzestrzeniła się na różnych platformach.

Snopy oraz Fakt polityczny nie oceniał roszczeń dotyczących GameStop, podczas gdy Ocenione historie potencjalnych klientów jeden post na Reddicie. Ale w Birdwatch najwyżej oceniona notatka — z wynikiem 1,00 za przydatność — oznaczyła wprowadzający w błąd tweet na temat Reddita, gdzie odbywała się rozmowa na temat akcji. Było około 50 notatek dotyczących Reddit, GameStop i aplikacji inwestycyjnej Robinhood, na których na początku tego miesiąca miał miejsce wysoki wolumen obrotu.

A użytkownicy Birdwatch poprawnie oznaczyli konto, które twierdziło, że należy do senator Virginii Amandy Chase, jako fałszywe, po nim tweetował , „… Mamy problem z narkotykami w Wirginii, a legalizacja marihuany doprowadzi tylko do przedawkowania marihuany i zgonów…”

Crowdsourcing może ułatwić życie profesjonalistom weryfikującym fakty poprzez wykrywanie dezinformacji, powiedział Örsek.

Coleman powiedział, że Twitter jest zaangażowany w utrzymanie przejrzystości — co umożliwiło tę analizę — i uwzględnia wkład ekspertów na temat przyszłości platformy.

„Od pracy z osadzonym członkiem zespołu z Centrum RISC Uniwersytetu w Chicago , organizując sesje zwrotne z dziennikarzami i badaczami, pracujemy nad wykorzystaniem ogromnej wiedzy i wiedzy, która istnieje poza Twitterem” – powiedział.

Holan i Örsek rekomendują zachęty i szkolenia dla użytkowników Birdwatch, a także zatrudniają profesjonalnych weryfikatorów faktów do sprawdzania notatek wysokiej rangi.

„Ale mam wątpliwości co do firm technologicznych, które wierzą, że ich użytkownicy będą moderować dla nich treści za darmo” – powiedział Holan. „Większość użytkowników nie postrzega jako swojej pracy pomocy platformom w prowadzeniu własnych firm”.