Eenentwintig pagina’s lang gaat hij tekeer. ‘Dubieus’, schrijft wiskundige Michael Thaddeus over wat zijn werkgever, de universiteit Columbia, allemaal uitspookt om de beste universiteit van de Verenigde Staten te kunnen worden.
In de beleidsstukken van Columbia staan onmogelijk hoge studentenaantallen. En het regent niet-bestaand onderwijsgeld, zo’n 100 duizend dollar per student, meer dan wat topuniversiteiten Princeton, Harvard en Yale bij elkaar uitgeven – onwaarschijnlijk veel dus. Klokkenluider Thaddeus rekent het allemaal door. De onthulling bezorgt Columbia enorm gezichtsverlies: de positie van het instituut keldert op de ranglijst U.S. News van positie 2 naar 18, meldde The New York Times vorig najaar.
De actie van Columbia laat zien hoe graag universiteiten hoog scoren op ranglijsten. Ook instellingen die eerlijk cijfers aanleveren, pronken graag met goede klasseringen. ‘Utrecht opnieuw de beste universiteit van Nederland in Shanghai-ranking’, kopte het huisblad van dat instituut vorig jaar. Wageningen daalde eens op de minder bekende QS-ranking, maar ‘blijft een topuniversiteit’, aldus het persbericht. En: ‘Dertien Nederlandse universiteiten in wereldwijde top 200’, meldde de koepelorganisatie VSNU in 2016 met ‘trots’ over The Times Higher Education-ranking (THE).
‘De prikkel voor universiteiten om goed te scoren is legitiem, maar kan ook leiden tot perverse praktijken’, zegt Jules van Rooij, onderzoeksadviseur aan de Rijksuniversiteit Groningen, lid van de expertgroep die net een rapport publiceerde over het lastige huwelijk tussen universiteiten en ranglijstjes, in opdracht van de Universiteiten van Nederland (UNL).
De race voor een hogere plek leidt soms tot ‘bizarre’ trucs, zoals dus het blufpoker dat de universiteit Columbia jarenlang volhield tot Thaddeus het ontmaskerde. En afgelopen voorjaar onthulde de Volkskrant hoe de King Saud-universiteit in Saoedi-Arabië met succes Nederlandse hoogleraren op papier in dienst neemt, zodat het instituut hoog scoort, met name op de Shanghai-ranking die deze maand weer verschijnt. Hoogleraren kregen zo’n 70 duizend euro om King Saud op hun cv te noemen als belangrijkste werkgever, ook al kwamen ze daar amper. Demissionair minister Dijkgraaf sprak er schande van.
En zo zijn er meer twijfelachtige manieren om beter te scoren op de internationale ranglijsten. Zes trucs op een rij.
Dat is wel héél toevallig. Te toevallig. Richard Holmes is na een jarenlange carrière aan universiteiten freelance-ranglijstendetective en hij ziet iets wat verdacht veel weg heeft van vriendjespolitiek. Op grote bijeenkomsten waar nieuwe ranglijsten worden gepresenteerd, ‘komt het gastland op de een of andere manier er telkens weer gunstig uit’, schrijft hij.
Neem de prestigieuze Times Higher Education (THE). Die zet wereldwijd de beste universiteiten op rij, maar doet dat ook per continent. Toen THE in Qatar neerstreek ‘met seminar, diners en marketing’, steeg de universiteit van dat land ineens ten opzichte van het jaar ervoor. Het jaar erop zakte Qatar weer weg ten faveure van een ander gastland. ‘De show verplaatste zich naar Ghana en de universiteit van Ghana klom van de twaalfde naar de zevende plaats’, aldus Holmes.
Zulke sprongen op de ranglijst zijn totaal onrealistisch, zegt Elizabeth Gadd van de Loughborough University in een videogesprek, die soms samenwerkt met Holmes. ‘Grote veranderingen leveren wel mooie verhalen op, elk jaar weer’, zegt ze. ‘Als universiteiten elk jaar op dezelfde plek zouden staan, valt er niets te vertellen en zouden rankings niet interessant zijn. Het is dus in het belang van rankingorganisaties om elk jaar andere resultaten te presenteren.’
Hoe de lijstjes worden gemaakt en berekend is grotendeels geheim, zegt Van Rooij, die terugrekenend probeert te achterhalen wat er jaarlijks verschuift. ‘Ze veranderen meestal iets in de manier waarop ze universiteitsprestaties meten.’
Die onzichtbare veranderingen maken het verdienmodel van de opstellers mogelijk: ze verkopen adviespakketten aan universiteiten om jaarlijks hun onderzoeks- en onderwijskwaliteit te verbeteren.
Dat leidt meestal tot spookverbeteringen op papier, ontdekte Igor Chirikov van de Berkeley-universiteit in Californië. ‘Ik wilde er eerst iets over kwijt op Facebook, maar toen ik verder ging graven, ontdekte ik hoe diep sommige universiteiten zijn verstrengeld met hun beoordelaars.’ Wat volgde, was een complete studie in het vakblad Higher Education.
Voor zijn onderzoek maakte Chirikov gebruik van een buitenkansje: Russische universiteiten moesten een tijdlang verplicht al hun contracten met bedrijven openbaar maken. Chirikov stuitte op een patroon: sloten universiteiten een adviescontract met ranglijstorganisatie QS, dan stegen ze in de jaren erna direct op de lijst. Dat kwam, laat Chirikovs analyse zien, vooral doordat de Russische universiteiten gunstigere gegevens aanleverden aan QS, zoals hoeveel onderzoekspersoneel er op de universiteit zou rondlopen in verhouding tot het aantal studenten.
De meeste Nederlandse universiteiten zeggen desgevraagd nauwelijks diensten af te nemen. De universiteiten in Nijmegen, Groningen, Eindhoven, Enschede, Maastricht en Tilburg deden dat ooit wel, bijvoorbeeld ‘om de zichtbaarheid te vergroten’, maar stopten ermee. De reden om te stoppen is voor bijna elke universiteit hetzelfde: de kosten van zo’n 10- tot 20 duizend euro per jaar leverden niet de beloofde inzichten in reputatie- of ranglijstscores. ‘Ranglijsten doen vaak geen recht aan de breedte van het werk dat op universiteiten gebeurt’, aldus een woordvoerder van de Tilburgse universiteit.
Elk voetbalseizoen eindigt hetzelfde: met de transfermarkt. Rijke clubs willen de grootste spelers binnenhalen. Dan staan ze sterk, op zijn minst op papier. Zo is het ook met universiteiten, merkt Lex Bouter op, emeritus hoogleraar methodologie en integriteit van de Vrije Universiteit Amsterdam. ‘Dat is in Engeland begonnen. Vlak voor een grote financieringsbeoordeling van universiteiten verhuisden soms hele teams van de ene instelling naar de andere.’
Vooral universiteiten die al ‘bizar rijk’ zijn maken hier gebruik van om hoger in de ranglijsten te komen, net als grote voetbalclubs. ‘Harvard, Stanford en Princeton hebben dat geld. Die zeggen tegen goed presterende onderzoekers: als je bij ons komt werken, sturen we morgen een architect en dan gaat die met jou het laboratorium ontwerpen. En geef ons een lijstje met wie we op de loonlijst moeten zetten.’
Een Nobelprijswinnaar in huis hebben weegt bijvoorbeeld zwaar in de Shanghai-ranking. Toen Ben Feringa in 2016 de Nobelprijs voor Scheikunde won, klom zijn Groningse universiteit het jaar daarop dertien plekken op die lijst.
Toch is dat gek, voegt Bouter meteen toe, want één Nobelprijswinnaar zegt weinig over de verdere onderwijs- en onderzoekskwaliteit van de hele universiteit. ‘Veel Nobelprijswinnaars zitten bovendien aan het eind van hun carrière en voltooiden hun prijswinnende onderzoek lang geleden.’
De ranglijsten belonen ook wetenschappers die veelgelezen onderzoek publiceren. Zo klom de Bielefeld-universiteit in Duitsland een duizelingwekkende 84 plekken op de THE-lijst, waarna de rector iedereen feliciteerde ‘die had bijgedragen aan dit geweldige resultaat’. Maar Bielefeld-werknemer Jelena Brankovic ontdekte dat het maar door één wetenschapper kwam: zijn naam stond dat jaar toevallig in een veelgeciteerde studie in medisch vakblad The Lancet.
Een artikel gepubliceerd in een wetenschappelijk vakblad? Alstublieft, een paar duizend euro. Op naar de volgende publicatie. Publicaties in wetenschappelijke bladen tellen mee voor de positie van de universiteit op de ranglijsten. In Zuid-Afrika krijgen onderzoekers van de overheid per gepubliceerd artikel zelfs extra subsidie om de invloed van de universiteit op ranglijsten te vergroten, beweerde Lyn Horn van de universiteit van Kaapstad op een wereldconferentie voor integere wetenschap.
In feite probeert Zuid-Afrika zo de invloed van publicatie’s te manipuleren. En het valt op: wetenschappers blazen hun publicatiescores op, zegt Bouter. Het aantal publicaties vanu Source: Volkskrant