Kijk, daar, een foto van een zwarte stoomlocomotief tegen een lichtbewolkte lucht. Of zie die teddybeer met zijn paarse strik. Er gebeurt van alles vanaf het moment dat ons oog de locomotief of beer ziet. De visuele perceptie gaat eerst naar het gedeelte van het brein dat verantwoordelijk is voor de eerste, grove interpretatie: het lijnenspel, de contrasten. Daarna gaat het naar andere gedeelten, die zich bezighouden met complexere informatie, met betekenis. Zo bouwt ons brein in grote lijnen de gepresenteerde informatie op, om uiteindelijk een betekenisvolle afbeelding te genereren.
Het speelt zich allemaal af in ons hoofd, en tegenwoordig kunnen wetenschappers daar een kijkje in nemen. Hun pogingen geven wellicht meer inzicht in de werking van menselijke hersenen en maken mogelijk de weg vrij voor nieuwe technieken. Verlamde patiënten die niet meer kunnen praten, zouden zo via hun gedachten weer kunnen communiceren met hun dierbaren.
Maar eerst terug naar die locomotief en die teddybeer, twee van de vele afbeeldingen die proefpersonen kregen voorgeschoteld in een recent experiment van de universiteit van Osaka in Japan. Zij maken hierbij gebruik van fMRI-metingen, die de exacte plaats van hersenactiviteit kunnen vastleggen. Hierbij liggen proefpersonen in een scantunnel terwijl ze naar een groot aantal plaatjes moeten kijken. Deze zijn afkomstig uit een al langer bekende dataset van tienduizend afbeeldingen van mensen, landschappen en objecten, inclusief hun omschrijvingen.
Over de auteur
Laurens Verhagen schrijft voor de Volkskrant over technologie, internet en kunstmatige intelligentie.
In vergelijking met de laagdrempeliger EEG-meting (een soort badmuts met elektroden) localiseert zo’n fMRI-signaal preciezer waar bepaalde activiteit plaatsvindt. In dit geval gaat het om twee gebieden in het brein: dat wat de visuele signalen verwerkt en de regio die verantwoordelijk is voor betekenisgeving. De onderzoekers koppelden deze metingen aan een al getraind AI-model, dat uit tienduizend afbeeldingen bestaat plus omschrijvingen.
Op deze manier konden onderzoekers verbanden leggen tussen de fMRI-data van het visueel georiënteerde hersengebied en de oorspronkelijke beelden die mensen aan het bekijken waren. Hetzelfde deden ze met de fMRI-gegevens van het hersengebied dat de betekenis van afbeeldingen verwerkt en de bestaande tekstbeschrijvingen van de afbeeldingen.
In eerder onderzoek werd alleen het eerste soort (visuele) informatie gebruikt, maar door ook de data uit de andere (tekstuele) hersengebieden mee te nemen en die te combineren, krijgen de onderzoekers betere en gedetailleerdere reconstructies: geen vage vlekken, maar echt een teddybeer met een strik. Ook onderzoekers van de universiteit van Toulouse beschreven onlangs vergelijkbare vorderingen met zelfs nóg scherpere plaatjes.
Het gebruik van fMRI-metingen is niet nieuw, wél het koppelen van zogeheten diffusion-modellen aan de metingen. Dit is een tak van kunstmatige intelligentie die de laatste maanden bij het publiek bekend is geworden onder namen als DALL-E, Stable Diffusion en Midjourney. Deze AI-programma’s kunnen afbeeldingen genereren op basis van tekstinvoer.
Marcel van Gerven, hoogleraar AI aan de Radboud Universiteit en niet betrokken bij deze twee studies, is onder de indruk van de nieuwste resultaten: ‘Dit is een mooie stap op weg naar steeds betere reconstructies.’ Zelf deed Van Gerven aan het Donders Instituut voor Brein, Cognitie en Gedrag van de Radboud eerder vergelijkbaar onderzoek, maar nog zonder de diffusion-modellen die nu in zwang zijn.
Ook Iris Groen, universitair docent computationele neurowetenschappen aan de Universiteit van Amsterdam, prijst de combinatie van bestaande fMRI-metingen met de laatste krachtige AI-modellen. Ze noemt de uit de breinsignalen gereconstrueerde afbeeldingen indrukwekkend. Maar, waarschuwt ze ook: ‘Dat de gepresenteerde en de gereconstrueerde afbeelding grotendeels overeenkomen, wil nog niet zeggen dat we nu ineens precies weten hoe beeldverwerking in ons brein precies werkt.’ De andere kant van de medaille is minstens zo interessant, vindt Van Gerven: ‘Hoe kun je AI-systemen ontwerpen die zich net als mensen gedragen, die net zo efficiënt zijn als ons brein, net zo robuust?’
De volgende stap ligt voor de hand: het échte gedachtenlezen. Stap in de scanner en denk ergens aan, gewoon zonder visuele stimulus. Of: val in slaap en ga dromen. Kan de computer dan de hersensignalen vertalen in iets betekenisvols? Kan een generatief AI-model daar een mooie surrealistische film van maken? ‘Er wordt weliswaar onderzoek naar gedaan, maar zover zijn we nog lang niet’, tempert Groen al te hoge verwachtingen.
Ook Van Gerven is voorzichtig, maar hij constateert tegelijk dat de ontwikkelingen snel gaan, niet alleen aan de AI-kant, maar ook op het gebied van metingen. Het Donders Instituut kreeg onlangs nog een subsidie van 19 miljoen euro voor de bouw van ’s werelds sterkste MRI-scanner voor nog gedetailleerdere hersendata.
Een stapje verder gaat zogenoemde invasieve meetapparatuur. Geen EEG-badmuts of MRI-scanner, maar een implantaat binnen de schedel om nóg preciezere hersenmetingen te kunnen doen. Julia Berezutskaya, onderzoeker bij het Donders Instituut en UMC Utrecht naar zogeheten brein-computer-interfaces, maakt van dit soort implantaten gebruik bij een andere poging om hersenactiviteit te reconstrueren: geen afbeeldingen, maar spraak.
Bij recent onderzoek van Berezutskaya en haar team liftten ze mee op andersoortig onderzoek waarvoor zware epilepsiepatiënten toch al implantaten kregen ingebracht. Tijdens hun zeven dagen durende verblijf op de ic-afdeling in het UMC Utrecht kon Berezutskaya ook metingen doen. Het grote voordeel: een ‘excellente signaalkwaliteit’ en daardoor ook ‘accurate decodeerresultaten’.
Het uitgangspunt is grofweg hetzelfde als bij het onderzoek waarbij afbeeldingen worden getoond, maar dan met spraak. De proefpersonen lazen hardop in totaal twaalf Nederlandse woorden voor, afkomstig uit Jip en Janneke, zoals ‘grootmoeder’, ‘plukken’, ‘allemaal’, ‘jip’, ‘ik’ en ‘hoed’. En ook hier is het de kunst om uit het opgevangen hersensignaal diezelfde woorden weer te decoderen.
Dat lukt nu goed. ‘Maar het voorspellen van losse woorden uit hersensignalen is natuurlijk nog heel wat anders dan hele zinnen’, zegt Berezutskaya. ‘Dat is nog een grote stap, maar geen onmogelijke. Ook in dit soort onderzoek kan AI een belangrijke bijdrage leveren’. Ze wijst op taalmodellen zoals het grote publiek die kent van ChatGPT. Wat deze in essentie doen, is het voorspellen van telkens een volgend woord. Door gebruik te maken van dit soort AI in combinatie met gedetailleerde hersenmetingen moet het mogelijk zijn zinnen te reconstrueren.
Hoe indrukwekkende de progressie ook is die dit soort taalmodellen boeken, Berezutskaya ziet hier nog wel wat beren op de weg. Het blijven immers probabilistische modellen, modellen die voorspellingen doen op basis van waarschijnlijkheid. ‘We moeten een balans zien te vinden tussen snelheid en praktische toepasbaarheid aan de ene kant en accuratesse aan de andere kant. Hoe vaak mag een computer een zin reconstrueren die je eigenlijk niet bedoelde te zeggen?’
Praktische toepassingen van spraakreconstructie zijn eenvoudiger voor te stellen dan die van beelden. Denk aan patiënten die niet meer in staat zijn hun spraakgedeelte aan te sturen omdat ze compleet verlamd zijn. Vergelijkbaar onderzoek in de Verenigde Staten leverde al een spraakcomputer op voor een Amerikaanse patiënt die niet meer kon praten na een hersenbloeding. Verschil met het Nederlandse onderzoek is dat de patiënt bij deze toepassing letter voor letter moet spellen.
De weg naar de hel is geplaveid met goede voornemens. Met dit gezegde in het achterhoofd volgt Pim Haselager, hoogleraar AI aan de Radboud Universiteit, dit soort ontwikkelingen op de voet. Fantastisch natuurlijk, als verlamde patiënten kunnen worden geholpen met neurotechnologie, maar Haselager vreest ook (commercieel) misbruik en een nieuwe categorie aan privacyproblemen.
‘Niets is van jezelf, behalve de paar kubieke centimeters in je schedel.’ Het citaat uit 1984 van George Orwell is voor Haselager veelzeggend. De binnenkant van zijn schedel is voor hoofdpersoon Winston Smith de enige plek die nog veilig is voor de bemoeienis van de Gedachtepolitie en de Partij. Maar zelfs deze 75 jaar geleden nog veilig gewaande plek lekt inmiddels informatie naar buiten.
‘Je kunt de technologie niet tegenhouden, maar wat je wel kunt doen, is nu al goed nadenken over de gevolgen van neurotechnologie en waar nodig wetten maken.’ Het is een lastige rol die hij hiermee inneemt, vindt de filosoof zelf: ‘Ik signaleer nog niet-bestaande problemen.’
Tegelijk is de toekomst waarin dit soort technologie breed beschikbaar komt niet zo heel ver weg. Haselager wijst op de EEG-headsets die consumenten nu al voor een paar honderd euro kunnen kopen om hun eigen brein af te lezen. Ze zien eruit als Source: Volkskrant