FactRank

FactRank is een gratis tool die uit verslagen van parlementaire debatten en uit andere Nederlandstalige teksten automatisch beweringen filtert die een factcheck waard zijn. Op dit moment zoekt FactRank in de verslagen van het Vlaamse, Belgische en Nederlandse parlement, in de tweets van Vlaamse en Nederlandse parlementsleden, en in de ondertitels van de VRT-duidingsprogramma’s Terzake en De Afspraak.

FactRank rangschikt beweringen op volgorde van ‘checkwaardigheid’: bovenaan staan beweringen die zowel feitelijk zijn als maatschappelijk relevant.

FactRank laat ook toe om eigen tekst in te voeren en te laten doorzoeken op checkwaardige beweringen. De tekst wordt opgesplitst in individuele beweringen waarvan de checkwaardigheid wordt beoordeeld.

Ook kijkt FactRank of het een bewering kan matchen aan reeds gepubliceerde factchecks in Knack, Factcheck.Vlaanderen en Nieuwscheckers.

Tools als FactRank bestonden al voor Engelse teksten (bijvoorbeeld Claimbuster). Hier is hij nu ook voor het Nederlandse taalgebied.

Deep learning en mensenwerk

FactRank gebruikt een deep learning-model getraind op duizenden uitspraken, die handmatig gelabeld zijn door studenten van de Universiteit Leiden, die op hun beurt werden opgeleid door experten op het gebied van journalistiek en factchecken.

De makers hebben ervoor gezorgd dat FactRank zichzelf kan blijven verbeteren door feedback van gebruikers te verzamelen. Die zorgt in combinatie met periodieke hertraining van het deep learning-model, voor een continue verbetering.

Vlaams-Nederlands teamwork

Dit project is het resultaat van Vlaams-Nederlands teamwork. Onder leiding van freelancejournalist dr. Jan Jagers (factchecker van Knack Magazine en docent journalistiek aan de Vrije Universiteit Brussel) werkten mee: dr. Peter Burger en dr. Alexander Pleijter (Nieuwscheckers.nl, Universiteit Leiden), prof. dr. Peter Van Aelst (Universiteit Antwerpen), prof. dr. Bettina Berendt (KU Leuven en TU Berlijn) en machine learning engineer Rafael Hautekiet.


In eigen woorden

Jan Jagers van FactRank zelf aan het woord:

Wat hield het project precies in?

Met FactRank hebben we een – gratis te gebruiken – tool ontwikkeld die uit Nederlandstalige teksten automatisch beweringen filtert die het factchecken waard zijn.

Met grensoverschrijdend teamwerk, een samenwerking tussen proffen van verschillende universiteiten en factcheckers uit zowel Vlaanderen als Nederland, hebben we het prototype van de tool dat vooraf bestond nauwkeuriger gemaakt en een breder toepassingsgebied gegeven. We hebben een codeboek ontwikkeld, duizenden uitspraken handmatig gelabeld, een machine learning systeem getraind om van beweringen te voorspellen hoe waarschijnlijk het is dat ze checkwaardig zijn, en een systeem uitgedacht om de tool nog verder te verfijnen door het te laten bijleren van feedback die gebruikers ervan kunnen aanleveren.

Journalisten en al wie het publieke debat wil scannen op feitelijke en checkwaardige beweringen, kunnen FactRank gratis gebruiken. Beweringen die de tool automatisch uitlicht, kunnen ze vervolgens gaan factchecken.

Terwijl het prototype alleen het Belgische parlementaire debat scande, monitort FactRank nu ook het plenaire debat in het Vlaams Parlement en de Nederlandse Tweede Kamer, tweets van Vlaamse en Nederlandse politici, en ondertitels van de VRT-duidingsprogramma’s Terzake en De Afspraak. Voor technische en andere problemen die het toevoegen van die andere bronnen stelden, vonden we een oplossing. Om de beweringen in hun directe context te tonen, bijvoorbeeld.

We hebben ook een aanzet gemaakt tot claim matching. Dat is het proces waarbij een actuele uitspraak tegen een databank met reeds bestaande factchecks wordt gehouden, en waarbij vervolgens meteen de factcheck verschijnt als die al eerder over de uitspraak in kwestie werd gemaakt.

Hoe we FactRank hebben gemaakt en welke keuzes en aannames eraan ten grondslag liggen, hebben we ook nauwgezet opgetekend in een wetenschappelijke publicatie erover - ons artikel FactRank: Developing Automated Claim Detection for Dutch-Language Fact-Checkers.

Waarover ben je het meest tevreden?

De multidisciplinaire en grensoverschrijdende samenwerking.

Wat verliep minder goed dan verwacht, of wat zou je nu anders doen?

De multidisciplinaire en grensoverschrijdende samenwerking. Samenwerking stroomlijnen van een multidisciplinair team waarvan de leden fysiek ver uit elkaar zitten, en complexe, drukke individuele agenda’s hebben, is niet evident. Het vergt tijd, creativiteit en goede wil van alle partijen. En leidt dan waartoe andersweegs niet kan.

Wat is het effect van dit project na afloop van de subsidieperiode? Blijft het nog voortbestaan, of heeft het iets bijgebracht of veranderd aan je bedrijf of organisatie?

FactRank moet zijn waarde nu in de journalistieke praktijk gaan bewijzen. We zullen de tool zelf verder gebruiken om efficiënt aan checkwaardige beweringen te komen die we vervolgens gaan factchecken, en hopen dat ook zoveel mogelijk anderen dat doen.

We willen Factrank in de toekomst operationeel kunnen blijven houden, verbeteren, en nog meer databronnen toevoegen, zoals ondertitels van talkshows en transcripties van radioprogramma’s bijvoorbeeld.

Omdat we nu zonder structurele financiering werken, zijn we op zoek naar naar geld en partners. Alle suggesties voor steun of samenwerking zijn daarom erg welkom op (mail naar factrank@gmail.com).

Wat is volgens jou het belangrijkste dat we kunnen leren uit dit project voor de journalistiek in Vlaanderen?

Samenwerken loont.