Sinds de opkomst van AI is er een vertienvoudiging van het aantal academische artikelen dat verwijzingen bevat naar publicaties die helemaal niet bestaan. 1 op de 275 biomedische artikelen bevat inmiddels zulke nepverwijzingen.
schrijft voor de Volkskrant over medische- en betawetenschappen.
In 2023, toen taalmodellen zoals ChatGPT pas kort beschikbaar waren, kwamen foute verwijzingen voor in minder dan 1 op de 2.800 vakpublicaties. Dat laat een analyse van Finse, Amerikaanse en Israëlische onderzoekers deze week zien in medisch toptijdschrift The Lancet.
Elke academische publicatie bevat een bronnenlijst die de conclusies van een onderzoek inhoudelijk onderbouwt. Dat AI-‘hallucinaties’ inmiddels ook hiertoe doordringen, was nog niet eerder zo grootschalig onderzocht.
‘Dit laat zien hoe groot de verleidingen van AI zijn voor onderzoekers’, reageert desgevraagd Simon Lanacre van Cabells, een Amerikaans bedrijf dat academische tijdschriften analyseert. Hij noemt de resultaten zorgwekkend. Kloppen verwijzingen niet, dan is de betrouwbaarheid van een studie immers moeilijk te verifiëren.
‘Dit is in feite een nieuwe vorm van een bestaand probleem, maar door de toename van AI wordt dit nu veel zichtbaarder’, zegt hoogleraar Daniel Lakens (TU Eindhoven). ‘Vooral in de rommelige staart van slechte tijdschriften zie je dit.’
Lakens doet zelf onderzoek naar wetenschappelijke integriteit. ‘We weten al langer dat er met ongeveer 5 procent van de verwijzingen iets mis is. Wetenschappers schrijven dan bijvoorbeeld dat een andere studie een positief resultaat liet zien, terwijl als je dat artikel erbij pakt, het effect juist negatief blijkt.’
In de nieuwe Lancet-studie analyseerden de onderzoekers bijna 100 miljoen verwijzingen verdeeld over 2,5 miljoen publicaties die afkomstig waren uit een veelgebruikte biomedische bibliotheek, PubMed. Als een referentie in geen enkele bekende database terug te vinden was en er geen sprake was van onbedoelde schrijffouten, beschouwden ze die als nep.
Saillant is dat de onderzoekers zelf ook een AI-model gebruikten om die tientallen miljoenen verwijzingen geautomatiseerd door te nemen. De betrouwbaarheid van hun model controleerden ze met een steekproef van vijfhonderd verwijzingen. Uiteindelijk vonden de onderzoekers 2.500 artikelen met een of twee nepverwijzingen, en bijna 250 die er minstens drie hadden. Slechts 45 van alle probleemartikelen zijn aangepast of ingetrokken.
Onlangs nog kwam de Amsterdamse hoogleraar intensive caregeneeskunde Alexander Vlaar in de publiciteit vanwege een wetenschappelijke publicatie die meerdere nepverwijzingen bevatte. Onder meer onderzoeksprogramma Argos besteedde er aandacht aan. Volgens de hoogleraar zelf was er iets misgegaan doordat AI de bronnenlijst had opgemaakt. Tijdschrift Intensive Care Medicine trok de publicatie vervolgens in en de Universiteit van Amsterdam stelde een integriteitsonderzoek in.
De onderliggende oorzaken van de verkeerde verwijzingen onderzochten de Lancet-auteurs niet. Die kunnen onbedoeld zijn, denk aan typefouten of dus gemakzuchtige uitbesteding aan een AI-tool. De fouten kunnen daarentegen ook een teken zijn dat het hele artikel verzonnen is, niet alleen de bronnenlijst – met ernstige gevolgen.
De bijbehorende resultaten kunnen betrouwbare publicaties besmetten en zelfs in medische richtlijnen terechtkomen. Zo werd in 2014 een Europese richtlijn aangepast die bètablokkers aanbeval tijdens operaties, omdat deze gebaseerd was op frauduleuze studies van de toenmalige Rotterdamse hoogleraar Don Poldermans.
Met een student heeft Lakens onlangs een AI-tool ontwikkeld die foute bronverwijzingen identificeert. Hij verwacht dat problemen een stuk kleiner worden als wetenschappers en tijdschriften veel meer van dit soort middelen gaan gebruiken, iets wat de onderzoekers van de Lancet-studie ook aanraden. Maar eigenlijk, voegt Lanacre toe, behoort het nalopen van de bronnenlijst nu al tot de taken van academische tijdschriften. ‘Dat proces is duidelijk niet waterdicht.’
Geselecteerd door de redactie
Source: Volkskrant