Strafrecht De reclassering gebruikt sinds 2018 een algoritme met ernstige gebreken om rechters en officieren van justitie te adviseren over het risico op recidive. In een op de vijf gevallen leidde dat tot een verkeerde en vaak te lage risico-inschatting.
Reclassering in Den Bosch.
Het algoritme dat de reclassering sinds 2018 zo’n 43.500 keer per jaar gebruikt om rechters en officieren van justitie te adviseren over de kans op recidive, bevat grove fouten. In een op de vijf gevallen werden verdachten en veroordeelden daardoor in de verkeerde risicocategorie geplaatst. Meestal leidde dat tot een onterecht lage inschatting van de kans dat ze opnieuw de fout in zouden gaan.
Dat blijkt uit onderzoek van de Inspectie Justitie en Veiligheid, dat donderdagochtend naar buiten is gebracht. In reactie op het onderzoek kondigt de reclassering aan het gebruik van het algoritme per direct stil te zetten.
De reclassering speelt een cruciale rol in strafzaken en brengt zwaarwegende adviezen uit over recidiverisico’s, passende straffen en bijzondere voorwaarden (zoals behandeling of toezicht) om herhaling te voorkomen. Het inspectierapport Risicovol algoritmegebruik biedt een zeldzame blik onder de motorkap van deze adviespraktijk van de drie Nederlandse reclasseringsorganisaties: Reclassering Nederland, het Leger des Heils Jeugdbescherming & Reclassering en de Verslavingsreclassering GGZ.
Ze blijken voor hun risico-inschattingen zwaar te leunen op OxRec: een algoritme ontwikkeld door de Universiteit van Oxford. Het model is getraind met data van Zweedse gevangenen van twintig jaar geleden. Aan de hand van dertien persoonskenmerken – zoals leeftijd, veroordelingen en drugsgebruik – berekent het de kans op algemene en gewelddadige recidive. Op basis daarvan wordt een persoon ingedeeld in een risicocategorie: laag, gemiddeld of hoog.
Met OxRec is echter het nodige mis, constateert de Inspectie. Dat begint al met hoe het algoritme in 2018 in Nederland werd ingevoerd. De rekenformules voor gedetineerden en niet-gedetineerden werden toen omgewisseld. Daardoor wordt de kans op recidive bij niet-gedetineerden hoger ingeschat en bij gedetineerden juist lager. Ook een rekenfactor voor drugsproblematiek is verkeerd ingevoerd, waardoor het recidiverisico structureel te laag wordt berekend.
Daarbij heeft de reclassering uit het oorspronkelijke OxRec-model twee persoonskenmerken geschrapt. Een daarvan is ‘ernstige psychische problematiek’. Gegevens daarover ontbraken in de Nederlandse dataset die is gebruikt om het model ‘af te stellen’ voor gebruik door de reclassering. In de Nederlandse versie van OxRec wordt daardoor geen rekening gehouden met ernstige psychische aandoeningen zoals psychoses. Het algoritme rekent alsof niemand zo’n aandoening heeft, terwijl psychische problematiek juist een belangrijke voorspeller is van recidive. Door dit te negeren wordt het risico dat mensen met ernstige psychische problemen opnieuw de fout ingaan, structureel onderschat, constateert de Inspectie.
Dit illustreert een fundamenteler probleem. In een algoritmisch model als OxRec kun je variabelen als psychische problematiek niet zomaar schrappen of aanpassen. Dan raakt de statistische samenhang verstoord en moet het model opnieuw worden getraind. Dat is nooit gebeurd.
En daar blijft het niet bij. Het gebruik van OxRec-variabelen ‘buurtscore’ en ‘inkomen’ kan volgens de Inspectie leiden tot discriminatie van personen met een migratieachtergrond. Volgens het College voor de Rechten van de Mens is het gebruik van dit soort variabelen alleen toegestaan als aanvullende antidiscriminatiemaatregelen worden getroffen op grond van de Grondwet en internationale verdragen. Die ontbreken, constateert de Inspectie.
Hoe de tekortkomingen rond OxRec in individuele zaken hebben meegewogen bij strafbeslissingen, is niet onderzocht. De Inspectie stelt wel vast dat het gebruik van het gemankeerde algoritme in 14,4 procent van de gevallen leidde tot indeling in een te lage risicocategorie en in 6,7 procent tot een te hoge. Bij de inschatting van gewelddadige recidive kwam 4,2 procent in een te lage risicocategorie terecht.
OxRec maakt deel uit van het reclasseringssysteem RISC, dat is bedoeld om tot gestructureerde adviezen te komen en onbewuste vooroordelen van reclasseringsmedewerkers tegen te gaan. Een risicotaxatie-instrument als OxRec heeft volgens de reclassering een ondersteunende functie bij het opstellen van een reclasseringsrapport.
De Inspectie schetst een ander beeld en wijst op het dwingende karakter van OxRec. Reclasseringsmedewerkers worden verplicht OxRec voor iedere verdachte en veroordeelde in te vullen. De uitkomst verschijnt automatisch in hun rapportage. In een trainingspodcast, waar de Inspectie naar verwijst, wordt gezegd dat het oordeel van een medewerker zonder OxRec „niet beter is dan het opgooien van een muntje”.
De reclassering had zelf veel eerder op de problemen met OxRec kunnen stuiten, constateert de Inspectie. Bij de invoer in 2018 waren al signalen over de beperkte voorspellende waarde. Dat het algoritme mogelijk discrimineert, werd in 2020 uiteengezet door hoogleraar Gijs van Dijk in het Nederlands Juristenblad. Dat leidde tot Kamervragen en een ontkenning van de reclassering.
De Inspectie constateert dat de reclassering sindsdien geen stappen heeft ondernomen om eventuele discriminatie te voorkomen, te meten of te verminderen. Zo is geen mensenrechtentoets uitgevoerd, geen verplichte privacyrisicoanalyse gemaakt, geen onderzoek gedaan of sprake is van etnisch profileren en werden de twee verboden variabelen niet uit het algoritme verwijderd.
Sinds de Inspectie afgelopen zomer haar eerste bevindingen deelde, heeft de reclassering herstelmaatregelen in gang gezet, zoals het alsnog uitvoeren van wettelijk verplichte privacytoetsen en het aanpassen van de software. Vanwege de ernst van de bevindingen beveelt de Inspectie aan de gebreken in OxRec „zo snel mogelijk” te verhelpen en mogelijk tijdelijk stil te leggen.
In een reactie laten Reclassering Nederland, Verslavingsreclassering GGZ en Leger des Heils Reclassering weten dat het gebruik van het algoritme OxRec per direct is stilgelegd. Volgens de organisaties laat het inspectierapport zien dat ze zich „beter moeten verhouden tot nieuwe kennis, beleid en regelgeving rond algoritmes”. De directies zeggen het zich aan te trekken dat bepaalde verbetermaatregelen niet eerder werden opgepakt.
De reclassering benadrukt dat OxRec slechts een hulpmiddel is bij het professionele oordeel van medewerkers en dat een reclasseringsadvies uit meer bestaat dan een risico-inschatting. De verwisseling van formules voor gedetineerden en niet-gedetineerden is volgens de organisaties afgelopen najaar al hersteld. Uit een interne simulatie zou zijn gebleken dat deze fout slechts beperkte invloed had op de berekende kans op recidive en naar verwachting niet leidde tot indeling in een andere risicocategorie.
Op de kritiek dat OxRec mogelijk discrimineert, verwijst de reclassering naar eerder eigen onderzoek en wetenschappelijke publicaties waarin volgens haar geen bewijs werd gevonden dat variabelen als buurtscore een indirecte afspiegeling vormen van etniciteit. De organisaties zeggen de conclusies van de Inspectie ter harte te nemen en het gebruik van het algoritme opnieuw te beoordelen.
Doorzie de wereld van technologie elke week met NRC-redacteuren
Source: NRC