is techredacteur van de Volkskrant, gespecialiseerd in de impact van kunstmatige intelligentie op de maatschappij.
Nu het alleen nog maar gaat over datacenters in de ruimte, AI-agents die samenspannen tegen mensen, Grok die porno maakt en de vraag of de AI-bubbel nu op knappen staat of niet, zouden we ze bijna vergeten: de goede oude algoritmen.
Vroeger – we spreken van voor november 2022, toen ChatGPT op de markt kwam – stonden algoritmen in de volksmond zo’n beetje synoniem aan kunstmatige intelligentie. Ging er iets mis? De schuld van de algoritmen.
Dat is te gemakkelijk: het is nog altijd de mens die schuld heeft. Algoritmen zijn niets meer dan stappenplannen om een taak uit te voeren. Vergelijk het met een recept. Het probleem van algoritmen is dat ze, anders dan bij recepten, ook voor beslissingen worden gebruikt waarvan mensen de gevolgen ondervinden.
Deze week waren er in Nederland twee duidelijke voorbeelden van hoe het nog altijd misgaat: een systeem genaamd OxRec dat door de reclassering wordt gebruikt, en GeoMatch van het Centraal Orgaan opvang asielzoekers (COA). Beide systemen functioneren niet, met grote gevolgen.
Vooral de bevindingen van de Inspectie Justitie en Veiligheid over OxRec zijn bijzonder pijnlijk om te lezen. Door fouten in algoritmen heeft de reclassering de kans dat verdachten en veroordeelden opnieuw een misdaad plegen in veel zaken verkeerd ingeschat. Te laag, meestal.
In de software van OxRec zitten grote fouten. Zo zijn er formules voor verdachten en gedetineerden verwisseld en worden verkeerde getallen en verouderde data gebruikt. Ook zou het systeem zijn ontwikkeld voor een andere doelgroep dan waar de reclassering het op toepast.
OxRec berekent wat het risico op herhaling van strafbaar gedrag is op basis van kenmerken als delictverleden, huisvesting, werk, financiën en het sociale netwerk. Door variabelen te gebruiken zoals ‘buurtscore’ en de ‘hoogte van het inkomen’ werkt het discriminatie in de hand, waarschuwt de inspectie ook nog.
Het is wrang dat dit soort variabelen nog altijd worden gebruikt; kenners waarschuwen al zeker tien jaar voor de risico’s daarvan. En mocht het nog niet duidelijk genoeg zijn: het College voor de Rechten van de Mens verklaarde ze enkele jaren geleden bovendien tot verboden gebied.
Het COA test ondertussen een algoritme dat bepaalt in welke gemeente een statushouder gaat wonen. GeoMatch belooft de vluchtelingen te koppelen aan de plaats waar zij de grootste kans op werk hebben. Dat is de theorie.
Uit onderzoek van de Universiteit Utrecht blijkt dat ook hier het hardnekkige euvel van een zichzelf versterkende feedbackloop opspeelt: wie in een slechte buurt woont, wordt vaker gecontroleerd. Of, in dit geval: kansarme mensen worden gekoppeld aan plaatsen waar hun kansen sowieso al laag zijn.
Het hardnekkige probleem bij dit alles is dat mensen te veel vertrouwen op automatische beslissingen, op software, algoritmen, AI. Daar is een mooie term voor: automation bias. Je kunt beter op recepten vertrouwen.
Geselecteerd door de redactie
Lees hier alle artikelen over dit thema
Source: Volkskrant columns