is de ombudsvrouw van de Volkskrant.
Sommigen op de redactie zagen het ongeluk al van ver aankomen. Alsnog was de schok groot, toen de nieuwsbrief AI Report dinsdag meldde dat een aanzienlijk deel van de opinieartikelen in de Volkskrant is geschreven met behulp van kunstmatige intelligentie.
Van de 111 stukken die in een maand werden gepubliceerd, zou 29 procent vrijwel volledig door AI zijn geschreven. Nog eens 22 procent zou deels AI zijn. In totaal meer dan de helft dus. Een hoger percentage dan bij andere Nederlandse kranten.
AI Report is mede opgericht door techdeskundige en AI-adept Alexander Klöpping. Hij gebruikte de AI-detectiesoftware van Pangram en liet AI-model Claude het onderzoek opzetten en uitvoeren. Terwijl hij een podcast over AI opnam, rolden de eerste resultaten binnen.
Vervolgens liet hij AI helpen bij het doen van wederhoor en het schrijven over het onderzoek. ‘Bij AI Report zit AI in vrijwel elk stuk dat je van ons leest’, was daarin te lezen. Onderliggende boodschap: doe toch niet zo moeilijk, krantenredacties.
Ombudsvrouw Loes Reijmer behandelt vragen, klachten en opmerkingen over de journalistiek van de Volkskrant. U kunt haar per mail bereiken.
Maar ja, dat doet de Volkskrant dus wel. Het Protocol is uitvoerig en streng: ‘Bij alles wat de Volkskrant maakt, mag er geen enkel misverstand zijn over wat echt en waar is en wat niet. Lezers verwachten dat een mens tot hen spreekt en niet een machine.’ Nu de wereld steeds kunstmatiger wordt, is menselijkheid van grote waarde, is de overtuiging van de hoofdredactie.
Medewerkers mogen AI gebruiken voor onderzoek, transcriberen en vertalen. Ook is kunstmatige intelligentie toegestaan voor controle van spelling en stijl – hierop kom ik zo meteen terug.
In het Protocol staat ook een aparte passage over opiniestukken: ‘Het is uitdrukkelijk niet de bedoeling dat de tekst van een opiniestuk of ingezonden brief is geschreven door generatieve AI.’ Kunstmatige intelligentie mag alleen als hulpmiddel worden gebruikt, ‘bijvoorbeeld om onderzoek te doen of de spelling te checken’.
Duidelijke taal die weinig ruimte laat voor naïviteit, zou je denken. Toch kun je de houding tot afgelopen dinsdag wel zo omschrijven. Al dan niet noodgedwongen, want lange tijd was de AI-detectiesoftware ondermaats en onbetrouwbaar. De redactie moest daarom vooral op intuïtie varen, en wilde ook werken vanuit vertrouwen.
Artikelen waarin het gebruik van kunstmatige intelligentie overduidelijk was, blakend van het LinkedIn-proza, kregen sowieso een afwijzing. Stukken waarover twijfel bestond, werden door de AI-detectiesoftware gehaald. Die sloeg vaker niet dan wel positief uit. Bij een positief resultaat, en dus de verdenking van AI-gebruik, nam de redactie contact op met de auteur. Als die ontkende, gold veelal het voordeel van de twijfel.
Dat is nu omgedraaid: stukken die voor publicatie in aanmerking komen, worden gecheckt met Pangram, de detectiesoftware die Klöpping ook gebruikte. Bij een score hoger dan 50 procent is een opinieartikel afgeschreven; bij een lagere score gaat de redactie het gesprek met de auteur aan. Bij twijfel niet publiceren, is inmiddels de regel.
De opinieredactie had scherper moeten zijn, maar moest het ook doen met beperkte middelen. Zo werd er een gratis variant gebruikt van de detectiesoftware, waarbij je maar een beperkte lengte kunt invoeren. Onbegrijpelijk voor een professionele organisatie als de Volkskrant, met een streng Protocol. ‘Het is nooit een kwestie van geld geweest’, benadrukt de hoofdredacteur.
De problematiek had niet voldoende prioriteit bij de hoofdredactie. Minimaal één deskundige verslaggever heeft de hoofdredactie meerdere keren gewezen op gepubliceerde opiniestukken of brieven die zeer verdacht waren, maanden geleden al. Daar is niet doortastend op gehandeld. Er is niet hard gezocht naar de beste detectiesoftware van dat moment, of bijvoorbeeld een lijst met signalen opgesteld waarop scherp moet worden gelet.
De hoofdredacteur erkent dat de houding wat labbekakkerig was. ‘We zijn misschien gemakzuchtig geweest, maar ook wel overvallen door de snelheid waarmee kunstmatige intelligentie is ingeburgerd in veel sectoren. Ik gebruik zelf geen AI en ermee schrijven is hier op de redactie verboden; daardoor hebben we niet op tijd gezien hoe snel het elders ingeburgerd raakte.’
Het onderzoek van Klöpping heeft de redactie in elk geval wakker geschud. Een belangrijke vraag is nu wel hoe betrouwbaar Pangram is.
Alom wordt deze detectiesoftware sinds een paar maanden gezien als de beste. Onderzoekers van de Vrije Universiteit Brussel publiceerden onlangs een interessante studie waarin zij papers controleerden die door studenten geschreven (zouden) zijn: echte menselijke teksten, AI-teksten, hybride teksten én AI-teksten die door ‘AI-humanizers’ weer menselijker zijn gemaakt (ja, dit bestaat).
Steeds weer scoorde Pangram duidelijk beter dan de alternatieven. De andere tools onderschatten de aanwezigheid van AI vooral flink. Dat bleek ook uit een onderzoekje dat de chef Opinie deze week deed: de detectiesoftware die de Volkskrant tot voor kort gebruikte, sloeg slechts aan op twee van de 32 artikelen die volgens Pangram volledig door AI zouden zijn opgesteld.
Belangrijke kanttekening: onduidelijk is wanneer de tool precies iets als AI aanmerkt. Veel mensen gebruiken kunstmatige intelligentie ook om hun eigen tekst stilistisch te verbeteren, in te korten, scherper te maken. Wie dat intensief doet, komt vermoedelijk al snel op een hoge score uit. Zeker in het Nederlands, waarin Pangram minder getraind is dan in het Engels.
De CEO van Pangram zei vorige week tegen Nature dat er inderdaad ‘veel ruimte voor verbetering is’ bij teksten die op zinsniveau zowel menselijk zijn als door AI bewerkt. Ook Klöpping denkt dat menselijke tekst die door AI onder handen is genomen, al snel hoog scoort in Pangram. Auteurs van de gewraakte opiniestukken in de Volkskrant (hij benaderde er dertien, zeven gaven een reactie) bevestigden tegenover hem AI te hebben gebruikt, maar in hun ogen alleen als hulpmiddel.
De chef Opinie wil waken voor te snelle conclusies. De Pangram-score moet de aanleiding geven tot een gesprek, niet tot een veroordeling. Dat is overigens ook wat deskundigen benadrukken.
Deze kwestie laat zien dat het belangrijk is om het gesprek over kunstmatige intelligentie op de hele redactie nogmaals goed te voeren. Want het Protocol, hoe grondig en uitgebreid ook, roept wel vragen op. Zo staat er dat AI kan dienen als ‘gereedschap voor eindredactie’, bijvoorbeeld als ‘stijlchecker’. Maar wanneer gaat dat over in de verbetering die Pangram rood laat uitslaan?
Niet iedereen vindt het gebruik van AI in opiniestukken een groot probleem. In de nasleep van het nieuws klonk ook vaak het democratiseringsargument: mensen die niet zo goed kunnen schrijven, zouden dankzij AI ook toegang tot de opiniepagina’s krijgen.
Dat klinkt nobel, maar lijkt vooralsnog niet op te gaan. Ik ging na wie de auteurs zijn van de gewraakte stukken in de Volkskrant: vrijwel zonder uitzondering theoretisch opgeleid, mensen met hoge functies, een goed netwerk. Mensen die, kortom, veelal prima een opiniestuk zouden moeten kunnen schrijven.
Het grootste probleem is natuurlijk dat alle teksten zo op elkaar gaan lijken: gestroomlijnd, voorspelbaar, zonder enige imperfectie en daarmee al snel zielloos. Een beetje zoals het hagelwitte facingsgebit van menig BN’er.
Geselecteerd door de redactie
Source: Volkskrant