Overheidsorganisaties als de politie of het UWV, schatten de risico’s van hun AI-systemen opvallend vaak laag in. Logisch: hoe hoger de risico’s, hoe strenger de regels. ‘Een probleem’, vindt de Rekenkamer, die het AI-gebruik van de overheid onder de loep nam.
De Algemene Rekenkamer nam zeventig overheidsorganisaties onder de loep, die in totaal 433 AI-systemen gebruiken. Het gebruik is nog niet erg wijdverbreid, schrijft de Rekenkamer in het woensdag gepresenteerde rapport: er zijn veel experimenten, terwijl bijna 90 procent van de organisaties niet meer dan drie AI-systemen hebben. Grootverbruikers zijn de politie en het UWV, met respectievelijk 23 en 10 systemen.
Het onderzoek geeft voor het eerst inzicht in hoeveel AI het Rijk gebruikt en waarvoor. Tot nu toe was het gebruik alleen anekdotisch beschreven. Zo berichtte het NRC in 2022 over vier Utrechtse gemeenten die aan de hand van een omstreden ‘fraudescorekaart’ inwoners controleerden op bijstandsfraude.
Over de auteur
Laurens Verhagen is wetenschapsredacteur van de Volkskrant. Hij schrijft over technologie en de impact van kunstmatige intelligentie op de maatschappij.
Een ander bekend voorbeeld komt uit Rotterdam, dat een algoritme inzette om bijstandsfraude te voorspellen en risicoscores toekende op basis van onder meer geslacht, woonwijk, taal en zelfs indicaties van psychische en financiële problemen. Ook dit gebruik was problematisch.
Dit soort AI-risicomodellen gebruiken data uit het verleden om het risico op overtredingen in de toekomst te voorspellen. Daarmee selecteren overheidsorganisaties burgers of bedrijven om ze extra te controleren op fraude.
Het probleem hierbij is het verschijnsel dat bekendstaat onder de term ‘zelfversterkende feedback-lus’: de groep die bij invoering van een nieuw systeem iets crimineler is, heeft iets meer kans om gecontroleerd te worden. Waardoor ze weer iets vaker in de statistieken opduiken en vervolgens weer vaker staande worden gehouden. Een klein statistisch verschil wordt op deze manier steeds verder uitvergroot.
Onder de nieuwe Europese regels (de AI Act) worden alle AI-systemen ingedeeld op de risico’s die eraan kleven. Hoe hoger het risico, hoe strenger de regels in de toekomst zullen zijn. Een systeem dat toeslagen regelt is bijvoorbeeld risicovoller dan de AI die gebruikt wordt om snel ambtelijke teksten samen te vatten.
Organisaties classificeerden het risico bij de meeste AI als ‘minimaal’. Ewout Irrgang van de Rekenkamer vindt het ‘een probleem’ dat de overheid de risicoafweging zelf maakt: ‘Er is een prikkel om het risico van een AI-systeem als minimaal te classificeren, zodat het systeem niet aan alle eisen hoeft te voldoen.’ Irrgang pleit voor ‘een vorm van toezicht en controle’.
De overheidsorganisaties zeggen dertig AI-systemen met een hoog risico in gebruik of in ontwikkeling te hebben. Zo is er een systeem dat voorspelt welke burgers een hogere kans hebben op schulden, zodat zij benaderd kunnen worden voor schuldhulpverlening. Een ander voorbeeld is een systeem dat met AI vinger- en handafdrukken vergelijkt om de identiteit van iemand vast te stellen.
Het merendeel van de systemen is echter gericht op interne processen die niet direct gevolgen hebben voor burgers, zoals het doorzoeken en verwerken van grote hoeveelheden informatie of het omzetten van spraak naar tekst. Dit kan de overheid veel tijd en geld besparen, concluderen de onderzoekers.
Verder noemt de Rekenkamer het opvallend dat organisaties vaak (35 procent) niet weten of de AI-systemen die zij gebruiken wel naar verwachting presteren. Zo bepalen ze vaak niet vooraf wat het doel is of wanneer het een succes is. Het rapport is toegezonden aan staatssecretaris Zsolt Szabó (Digitalisering en Koninkrijksrelaties).
Geselecteerd door de redactie
Source: Volkskrant