is hoogleraar wetenschapscommunicatie aan de Universiteit Leiden en columnist voor de Volkskrant.
Zoek de overeenkomst tussen deze recente nieuwskoppen: Trump bereidt VS voor op ‘waarschijnlijk meer’ Amerikaanse doden. Zorgwekkend megalek bij Odido leidt waarschijnlijk niet direct tot meer fraude. Denzel Washington waarschijnlijk niet de enige gevierde veteraan in Black Panther 3. Deze uitgefikte Ferrari 360 is waarschijnlijk aangestoken. Kunstdetective Arthur Brand vreest het ergste: ‘Gestolen Merijntje Gijzen waarschijnlijk al omgesmolten.’
Vijf keer staat er het woord waarschijnlijk. Betekent dit woord in al die zinnen hetzelfde? Waarschijnlijk niet.
Een paar jaar terug onderzocht ik met statistici Casper Albers en Sanne Willems hoe mensen kanswoorden als vaak, misschien en waarschijnlijk vertalen naar een percentage. Hierbij maakt de context waarin zo’n woord staat nogal veel uit. ‘Waarschijnlijk regent het vandaag in Barcelona’ is bijna dezelfde zin als ‘Waarschijnlijk regent het vandaag in Edinburgh’, maar de meeste mensen zullen die twee waarschijnlijks anders interpreteren, omdat ze weten dat het in Barcelona minder vaak regent dan in Edinburgh.
Wij gebruikten in ons onderzoek daarom kleurloze zinnetjes als ‘Deze behandeling slaagt vaak’ en ‘Deze partij wordt misschien de grootste’. Wij vonden dat mensen waarschijnlijk interpreteerden als een kans van ergens tussen de 75 en 91 procent. Waarschijnlijk is daarmee een nogal onprecieze term, met allerlei interpretaties. Die vaagheid is vaak juist de reden om dit soort termen te gebruiken, hiermee maak je duidelijk dat je iets ongeveer weet. Maar om misverstanden te voorkomen is het slim om daarnaast toch ook de kans in getallen te melden.
Columnisten hebben de vrijheid hun mening te geven en hoeven zich niet te houden aan de journalistieke regels voor objectiviteit. Lees hier onze richtlijnen.
Vorige maand verscheen een studie waarin Amerikaanse onderzoekers keken hoe AI-taalmodellen dit soort kanswoorden interpreteren. Ze deden dat in het Chinees en in het Engels. De meeste weken nogal af van hoe mensen dit soort woorden lezen. Het meest verrassende van deze studie vond ik dat de AI-modellen veel minder onzekerheid gaven bij uitspraken die specifiek over mannen of vrouwen gingen. Is het een mens dat iets likely gaat doen, dan geven de taalmodellen aan dat de kans ergens tussen de 75 en 85 procent ligt.
Is het specifiek een man of specifiek een vrouw, dan is de kans ineens precies 80 procent. De onderzoekers vermoeden dat de (wenselijke) spreiding in interpretatie verdwijnt, omdat de modellen zijn getraind op data met stellige vooroordelen over hoe mannen of vrouwen zich gedragen. Ze bepleiten daarnaast dat het belangrijk is dat taalmodellen in de toekomst dezelfde kansen consistent met hetzelfde woord aanduiden.
Maar waarom zou dat moeten als mensen dat ook niet doen? De hele crux van deze taalmodellen is bovendien dat ze geen correcte teksten maken, maar waarschijnlijke. Onzekerheid en vaagheid zitten al ingebakken in de resultaten. Felienne Hermans muntte het prachtige woord ongevirus voor ‘blind enthousiasme voor AI dat zich, mogelijk met kwalijke gevolgen, snel onder mensen verspreidt, ondanks het feit dat AI vaak informatie geeft die wel ongeveer maar niet precies klopt’. Ik ben benieuwd hoe mensen dát woord interpreteren.
Reacties, tips en vragen kunnen waarschijnlijk naar ionica@volkskrant.nl.
Geselecteerd door de redactie
Lees hier alle artikelen over dit thema
Source: Volkskrant columns