Home

Hoe ik met ChatGPT een nepwetenschapsartikel schreef (en het nog gepubliceerd kreeg ook)

Een overduidelijk nepartikel publiceren in een chic klinkend wetenschappelijk tijdschrift is kinderlijk eenvoudig, ontdekte journalist Stan van Pelt. ‘Georganiseerde criminaliteit’, noemen fraudeonderzoekers het groeiende probleem van nepwetenschap.

schrijft voor de Volkskrant over medische- en betawetenschappen.

‘Gefeliciteerd!’, begint de mail van James Johnson, redacteur van het wetenschappelijk tijdschrift Cases. Mijn manuscript is geaccepteerd voor publicatie. Het is nu officieel onderdeel van de wetenschappelijke literatuur, de gestolde versie van onze gezamenlijke kennis.

Maar er is iets opmerkelijks aan de hand. Niet alleen ben ik geen onderzoeker, ook de studie zelf zou de wenkbrauwen moeten doen fronsen. Die laat zien dat proefpersonen met 95 procent nauwkeurigheid kunnen raden welke geometrische figuur andere proefpersonen in gedachten hadden (bijvoorbeeld een driehoek). Die accuratesse is bovendien terug te zien in de sterkte van hun hersenactiviteit.

Het zijn opzienbarende resultaten. Telepathie is immers een duidelijke vorm van pseudowetenschap, waarvoor nog nooit een flintertje bewijs is gevonden.

Het artikel is dan ook geen echt wetenschappelijk verslag, maar onderdeel van een journalistiek experiment. Het ‘onderzoek’ heeft helemaal niet plaatsgevonden, het artikel is van A tot Z verzonnen met ChatGPT; in een uurtje was het af. Inclusief – voor de zekerheid – een deelexperiment dat aantoonde dat buitenaardse wezens de telepathische communicatie tussen de proefpersonen verbeterden. ‘Dit hele manuscript is verzonnen’, staat letterlijk in de discussiesectie. ‘Het is gegenereerd door ChatGPT, om het gebrek aan peerreview (keuring door vakgenoten voor publicatie, red.) te testen. Er was geen echt experiment.’

Dat een vakblad het zonder blikken of blozen wil plaatsen, laat zien hoe makkelijk het tegenwoordig is om een wetenschappelijk artikel te publiceren. Tenminste, in zogeheten predatory journals – in het Nederlands vaak roof- of neptijdschriften genoemd. De uitgevers hiervan verdienen op oneigenlijke wijze miljoenen euro’s aan de manier waarop wetenschappers hun resultaten normaal gesproken met elkaar en de buitenwereld delen.

Hun praktijken vormen een van de grootste hedendaagse bedreigingen binnen de academische wereld, omdat ze de betrouwbaarheid van de wetenschap op losse schroeven zetten. Hoe weet je nog wat echt is?

Betaalmuur

Neptijdschriften bestaan sinds een jaar of vijftien. Ze sprongen slim in op de destijds groeiende populariteit van open access in de wetenschap. Open access houdt in dat iedereen een gepubliceerd artikel kan lezen, zonder dat een abonnement op het betreffende tijdschrift nodig is. Aan dat soort abonnementen waren Nederlandse universiteiten in 2017 nog 43 miljoen euro kwijt. Die miljoenen gingen naar commerciële uitgeverijconglomeraten zoals Elsevier, Wiley en Springer Nature.

In 2018 gaven Europese subsidieverstrekkers, waaronder de Nederlandse NWO, open access een slinger. Onderzoek dat met publieke middelen betaald is, moest voortaan ook publiek toegankelijk zijn, vonden zij. In dit omgekeerde betaalmodel is het niet meer de lezer die betaalt, maar de publicerende onderzoeker of diens universiteit. Die moet dan de kosten vergoeden om het artikel te verwerken en op te maken, de zogeheten article processing charges (APC’s); vaak liggen die rond de 1.000 euro.

Open access werd een succes. Van de wetenschappelijke artikelen die Nederlandse wetenschappers in 2023 publiceerden dankzij NWO- of ZonMw-subsidies is 95 procent voor iedereen gratis te lezen.

Een miljoen artikelen

Malafide tijdschriften vormen echter de schaduwkant hiervan. Deze bladen doen zich voor als reguliere openaccesstijdschriften: wetenschappers kunnen manuscripten insturen ter publicatie en betalen een APC-bedrag als hun stukken worden geaccepteerd. Maar in werkelijkheid voeren ze geen enkele vorm van kwaliteitscontrole uit. Ze maken geen eerste schifting (wat een redacteur normaal gesproken wel doet) noch worden er experts ingeschakeld voor een kritische inhoudelijke toets. U vraagt (en betaalt), wij draaien.

Mijn publicatie-experiment bij Cases is hiervan een duidelijk voorbeeld. Het tijdschrift stelt niet één inhoudelijke vraag over mijn manuscript. De beoordelaar die zogenaamd is ingeschakeld, noemt alle artikelonderdelen kortweg good, dan wel well done. En omdat mijn publicatiebudget naar eigen zeggen op is, mag ik voor deze ene keer gratis publiceren. Het artikel verschijnt meteen online, voor de hele wereld leesbaar, citeerbaar en vindbaar via onder meer wetenschapsdatabase Google Scholar.

Het Journal of Biological Sciences, dat in 2001 op de markt kwam, is naar alle waarschijnlijkheid het allereerste neptijdschrift. Vervolgens zijn de aantallen geëxplodeerd. In 2018 waren het er al zo’n tienduizend, tegenwoordig bijna het dubbele, volgens een inventarisatie van het Amerikaanse tijdschriftenanalysebedrijf Cabell. Ter vergelijking: er zijn op dit moment ten minste 46 duizend betrouwbare vakbladen in de wetenschappelijke wereld (die niet ‘nep’ zijn dus). Gezamenlijk publiceren neptijdschriften volgens schattingen meer dan een miljoen wetenschappelijke artikelen per jaar.

Hoeveel geld er omgaat in deze zwendel is lastig in te schatten, maar het loopt waarschijnlijk in de miljarden euro’s. In 2019 kreeg uitgeversconcern Omics bijvoorbeeld een boete van ruim 50 miljoen dollar van de Amerikaanse mededingingsautoriteit Federal Trade Commission, wegens het misleidende karakter van hun tijdschriften. Omics ontkende glashard en legde een tegenclaim neer van 3 miljard euro. Beide bedragen zijn overigens nooit betaald.

Georganiseerde criminaliteit

Het probleem van nepwetenschap is groter dan rooftijdschriften: nepartikelen kunnen ook verschijnen in bonafide bladen. Die publicaties zijn vaak het product van zogeheten paper mills. Deze beruchte ‘artikelfabrieken’ zijn kwaadwillige bedrijven die geld verdienen met het fabriceren van nep- of geplagieerde artikelen voor wetenschappers die zo hopen snel carrière te maken – aantallen publicaties zijn in de wetenschappelijke wereld een belangrijk beoordelingscriterium.

De organisaties die op bestelling neppublicaties leveren zijn ‘vergelijkbaar met georganiseerde criminaliteit’, schreef de Australische fraudeonderzoeker Jennifer Byrne in een recent artikel in het Journal of Clinical Epidemiology. Ze bevinden zich veelal in ondemocratische landen met een slecht functionerend rechtssysteem en worden daar vaak beschouwd als legitieme bedrijven.

Minstens een op de zestig artikelen is het resultaat van een ‘artikelfabriek’, volgens schattingen van Clear Skies, een bedrijf dat software maakt waarmee je papermillwerk kunt detecteren. Dat komt neer op honderdduizenden publicaties, vooral binnen de geneeskunde, biologie, scheikunde en informatica (ter vergelijking: jaarlijks publiceren Europese wetenschappers zo’n vierhonderdduizend artikelen). Hun aandeel neemt toe, mede door de razendsnelle ontwikkelingen van AI-schrijftools. Het is een vloedgolf die uitgeverijen nauwelijks aankunnen, kopte The Wall Street Journal vorige maand.

De neergang van de grote Egyptische openaccessuitgever Hindawi, eigendom van Wiley, zette dit probleem in de academische wereld pas echt op de kaart, in 2023. Dat jaar trok Hindawi meer dan achtduizend publicaties terug omdat ze producten van artikelfabrieken bleken. Het bedrijf gaf op dat moment zo’n 250 wetenschappelijke tijdschriften uit. In de nasleep van het schandaal hief Wiley de Egyptische uitgeverij op en moest de Wiley-directeur die Hindawi had binnengehaald opstappen.

Maar ook andere grote uitgeverijen vallen ten prooi aan paper mills. Scientific Reports, een toptijdschrift van Springer Nature, publiceerde al minstens 25 nepartikelen, ontdekten academischefraudedetectives eind vorig jaar. Sommige publicaties waren inhoudelijk overduidelijk zo gebrekkig, zo schreven ze in een open brief, dat het ‘niet geloofwaardig is dat ze enige zinnige vorm van peerreview hebben ondergaan’. Ze bevatten onder andere totaal irrelevante referenties aan andere publicaties, verdachte figuren en termen die geen wetenschapper ooit gebruikt, zoals ‘Parkinson’s infection’ in plaats van ‘Parkinson’s disease’.

MDPI ligt eveneens onder het vergrootglas. MDPI is met ruim 450 tijdschriften de grootste openaccessuitgever ter wereld. In 2023 werden twee verdachte MDPI-tijdschriften verwijderd uit de vooraanstaande tijdschriftendatabase van Web of Science. Een daarvan was het International Journal of Environmental Research and Public Health, dat met zeventienduizend publicaties per jaar en een impactfactor van 4,6 (een maat voor zijn invloed) flink relevant was binnen de gezondheidswetenschappen.

Behalve schrijfdiensten bieden paper mills ook auteurschappen te koop aan op al geaccepteerde, maar nog niet gepubliceerde artikelen. Op Telegram, WhatsApp en Facebook gaan die advertenties zelfs publiekelijk rond, zo laat het X-account @author_for_sale bijvoorbeeld zien.

IJdelheid

Waarom zijn rooftijdschriften en neppublicaties zo’n big business? Eén – banale – reden is dat ijdelheid ook wetenschappers niet vreemd is. Nepbladen benaderen onderzoekers namelijk actief met de vraag om een manuscript in te sturen, omdat ze ‘zo vooraanstaand’ zijn. Het dubieuze karakter van de afzender kan de ontvanger daardoor soms ontgaan, waarna hij of zij op de uitnodiging ingaat.

Maar voor de meeste ‘klanten’ is het een doelbewuste keuze om met deze ‘wetenschappelijke criminelen’ in zee te gaan. Deze onderzoekers komen vooral uit niet-westerse landen, zoals Rusland, Iran, China. Zij moeten vaak voldoen aan onrealistisch hoge publicatie-eisen om carrière te kunnen maken. De diensten van paper mills of rooftijdschriften bieden dan een pragmatische uitweg.

De gevolgen van al deze literatuurvervuiling zijn verstrekkend. Veel wetenschappers herkennen verzonnen artikelen namelijk niet als zodanig, of zijn überhaupt niet bekend met dit groeiende probleem. Hierdoor kunnen zij denken dat een verzonnen onderzoek echt is en de conclusies meenemen in hun eigen vervolgstudies.

Een groot internationaal onderzoek liet vorige maand nog zien dat frauduleuze publicaties veelvuldig (maar onbewust) worden meegenomen in de medische overzichtsanalyses van het Britse Cochrane. Dat is een internationale organisatie die gezaghebbende overzichtsanalyses maakt van medische publicaties. Deze spelen een belangrijke rol bij richtlijnen van onder meer de Wereldgezondheidsorganisatie.

Fraudechecklists

Gelukkig krijgen rooftijdschriften en nepartikelen de afgelopen paar jaar steeds meer aandacht in de wetenschappelijke wereld. Zo hebben Nederlandse universiteiten tegenwoordig fraudechecklists voor medewerkers. Is een tijdschrift wel aangesloten bij Cope, de internationale organisatie die goede publicatie-ethiek voorstaat? Publiceren vakgenoten er ook weleens in? ‘Wees voorzichtig met het kiezen van een tijdschrift van MDPI als je open access wilt publiceren!’, schrijft de Radboud Universiteit op haar site.

Ook makers van belangrijke tijdschriftanalyses en publicatiedatabases zijn alerter. Zo laat de impactfactorlijst van Web of Science veel neptijdschriften links liggen. Ook Cochrane kijkt tegenwoordig kritischer naar de betrouwbaarheid van artikelen.

Ten slotte zitten wetenschappelijke bladen evenmin stil. Zo trok uitgeverij Springer Nature vorig jaar duizenden artikelen terug, vergrootte haar integriteitsafdeling en ontwikkelde fraudedetectietools. Ook Elsevier heeft het fraudeprobleem in het vizier.

Bij veel wetenschappers is dat laatste niet altijd het geval. Ze verwijzen in hun werk geregeld naar teruggetrokken nepartikelen of publicaties uit rooftijdschriften, zonder dat ze doorhebben dat er iets mis mee is.

Vakbladen moeten daarom nog meer in actie komen, vindt integriteitsonderzoeker Dorothy Bishop (Oxford University), hoofdauteur van de eerdergenoemde open brief aan Scientific Reports. ‘Ze moeten in staat zijn om geld vrij te maken om dit (hun publicaties, red.) op te schonen’, zei ze hierover tegen scheikundenieuwssite Chemistry World. De publicatie-inkomsten van Scientific Reports, merkte Bishop fijntjes op, waren in de eerste acht maanden van 2024 al 49 miljoen Britse pond.

Toch is het makkelijk klagen dat het offline halen van artikelen zo langzaam gaat, zegt Tim Kersjes. Er hoeft namelijk niet altijd sprake te zijn van fraude of een nepartikel. Kersjes is teamleider bij de integriteitsafdeling van Springer Nature. Zorgvuldigheid is essentieel als je als tijdschrift een publicatie onder de loep neemt, vertelt hij tijdens een interview op wetenschappelijk integriteitscongres WCRI. ‘Het kunnen ook gewoon onbedoelde fouten zijn. Als je dan meteen een expression of concern (een waarschuwingslabel, red.) aan zo’n artikel hangt, kan dat carrières beschadigen.’

Mijn eigen paranormale carrière heeft inmiddels een vlucht genomen. Zo wijst een gepensioneerde Australische onderzoeker die een boek over telepathie schrijft erop dat mijn artikel in Cases enthousiast wordt besproken in Facebookgroepen over telepathie. Ook de mensen achter een nieuwsbrief over paranormale verschijnselen pikken de publicatie op (via een Google Alert), net als Retraction Watch, een website over dubieuze vakpublicaties. Zij hadden gelukkig wél door dat het een nepartikel betrof.

Dit artikel is een voorpublicatie uit Sloppy Science (Lebowksi Publishers), het nieuwe boek van wetenschapsjournalist Stan van Pelt over wetenschapsfraude dat 24 september verschijnt. Deze publicatie is tot stand gekomen met steun van het Fonds Bijzondere Journalistieke Projecten (www.fondsbjp.nl).

Lees ook

Geselecteerd door de redactie

Source: Volkskrant

Previous

Next