De scholen zijn weer begonnen en onlangs konden we in de kranten lezen wat de ‘beste’ universiteiten van Nederland zijn. Steeds vaker hoor je echter kritiek op het gebruik van ranglijsten om aan te wijzen wat de ‘beste’ opleidingen, universiteiten en onderwijsinstellingen zijn. Maar wat is nu eigenlijk het probleem van zo’n ranglijst?

Positieve impact

‘What gets measured, gets managed’  dachten ze bij Times Higher Education waarschijnlijk. Vier jaar geleden begonnen ze in kaart te brengen in hoeverre universiteiten een ‘positieve impact’ hebben op de wereld: de THE Impact Ranking was geboren. Vorig jaar bevatte deze lijst 1200 universiteiten, gerangschikt op hun positieve bijdrage aan de wereld.

Het meest voorkomende land in de lijst voor de categorie vrede was Rusland

Een van de gemeten aspecten is ‘vrede, justitie en sterke instituties’. Een student of medewerker die veel om vrede geeft, zo is de gedachte, kan op basis van deze categorie een universiteit kiezen. Wie zich echter in 2021 door de lijst liet leiden kwam op een opmerkelijk resultaat uit.

Het meest voorkomende land in de lijst voor de categorie vrede was namelijk… Rusland. Maar liefst 49 Russische instellingen scoorden volgens de ranglijst hoog op hun bijdragen aan de vrede, terwijl 14 Russische universiteiten in de totale top 100 van de THE Impact Ranking stonden. Echter, veel rectoren van deze universiteiten ondertekenden op 4 maart 2022 een statement dat de inval van de soevereine staat Oekraïne ondersteunde. 

Tot zover hun bijdragen aan wereldvrede – en daarmee ook het nut van dit soort ranglijsten? Die conclusie zou te kort door de bocht zijn op basis van dit ene voorbeeld. Maar er zijn wel degelijk fundamentele problemen met dergelijke ranglijsten.

Probleem 1: Gecamoufleerde subjectiviteit

De werkelijkheid is te complex om in zijn totaliteit te bevatten. Ranglijsten helpen ons die te versimpelen en enigszins behapbaar voor ons te maken. Met een ranglijst in de hand weet je wat de beste zorginstelling of middelbare school is – dat is immers ‘objectief’ gemeten.

Tegelijk zijn ranglijsten big business. Top-zoveel lijstjes doen het geweldig goed in de (sociale) media en leveren gegarandeerd clicks op. Lijstjes van de superrijken door Quote en Forbes voeden onze gemeenschappelijke nieuwsgierigheid – en vormen voor deze bedrijven een substantiële inkomstenbron.

Cijfers en statistieken lijken al snel ‘hard’ en ‘objectief’

Een tijdschriftbijlage over de beste middelbare scholen – of ‘superscholen’ zoals EW ze nu noemt – staat garant voor aandacht en dus hoge oplagen. Voor geïnteresseerden geeft het een gevoel van grip: op basis van een ranglijstnotering kan je met een gerust hart een middelbare school of ziekenhuis uitkiezen. Tenminste, dat is het idee.

Cijfers en statistieken lijken al snel ‘hard’ en ‘objectief’. Wat bij de presentatie van ranglijstnoteringen vaak vergeten wordt, is dat er tal van subjectieve keuzes aan die cijfers en statistieken voorafgaan. Zo moet bijvoorbeeld bepaald worden welke aspecten worden gemeten voor een ranglijst, hoe die aspecten gemeten worden en welke gewichten aan die metingen en cijfers gegeven worden.

Dergelijke subjectieve keuzes bepalen in grote mate wie er later als ‘objectieve’ winnaar uit de bus komt. Het eerste probleem van ranglijsten is dat ze de schijn van objectiviteit wekken, terwijl in werkelijkheid de subjectiviteit slechts wordt gecamoufleerd.

Probleem 2: Beïnvloeding ideeën over wat kwaliteit is

De invloed van ranglijsten bestaat er ook uit dat ze richting geven aan ons denken over kwaliteit. Daarvoor is het echter wel nodig dat de ranglijst serieus wordt genomen. Ranglijstmakers doen er daarom alles aan om hun positie als ‘onafhankelijke, objectieve en gedegen beoordelaar’ te verstevigen, bijvoorbeeld door uit de doeken te doen hoe hun methodologie nóg verfijnder is dan vorig jaar. 

Maar hoe gaat dat beïnvloeden door ranglijsten in zijn werk in het geval van universiteiten? Neem de World Universities Ranking van Times Higher Education. Die bevat een criterium dat voor 7,5 procent meewoog in het eindoordeel, genaamd: international outlook. Kort gezegd, hoe internationaler een universiteit, dus hoe meer buitenlandse studenten en docenten, hoe beter.

Door dit aspect op te nemen beïnvloedt de THE ranglijst wat zij zien als een ‘goede universiteit’. Immers, wie goed wil scoren, moet zoveel mogelijk buitenlandse studenten weten aan te trekken. Maar betekent dit automatisch een verbetering van de onderwijskwaliteit? Of een stapje verder: willen we ons voor beantwoording van de vraag wat ‘goed’ onderwijs is overgeven aan definities van commerciële ranglijstmakers?

Als een ranglijst eenmaal is opgesteld, beïnvloedt die hoe wij denken over kwaliteit. Anders gezegd, onze definitie van kwaliteit gaat zich langzaam voegen naar die van invloedrijke ranglijsten. Ook zijn ranglijsten zelfversterkend. Wie hoog op een lijst staat, kan op aanzien rekenen. En aanzien leidt weer tot meer interesse van potentiële studenten en werknemers.

Maar het gaat nog verder. Wanneer academici gevraagd wordt om in een reputatievragenlijst aan te geven welke universiteit volgens hen het beste is, is de kans groot dat ze zich bewust zijn van de ranglijsten van eerdere jaren. Op deze manier houden de ranglijsten zichzelf in stand. Staat een universiteit eenmaal hoog, dan zorgt dit anchoring effect ervoor dat die in de toekomst ook goed blijft scoren.

Probleem 3: Indicatorisme

Over goed ‘scorende’ instellingen gesproken: de Business School van Rutgers University in de Verenigde Staten staat al jaren hoog in de employability ranking – een ranglijst die (dure) MBA-opleidingen vergelijkt op waar je het snelst een goedbetaalde baan vindt. Wat kwam echter recent aan het licht door een interne klokkenluider? Om de arbeidsmarktstatistieken te verbeteren, werd meer dan 400.000 dollar gebruikt om nepbanen te creëren die via een uitzendbureau werden aangeboden aan recent afgestudeerden.

De macht van ranglijsten kan gedrag uitlokken dat een loopje neemt met de werkelijkheid

Het enige doel van deze nepbanen: de statistiek van afgestudeerden met een baan opkrikken. Fraude dus, puur en alleen om hoger op een ranglijst te komen en in de toekomst studenten aan te trekken. De macht van ranglijsten kan gedrag uitlokken dat een loopje neemt met de werkelijkheid.

Er wordt gestuurd op het verbeteren van de (baankans)indicator, terwijl het eigenlijke doel (goed onderwijs verzorgen) niet gediend wordt. Ik noem dit soort gedrag ‘indicatorisme’.

Een ander voorbeeld. In 2010 werd in Italië een wet aangenomen met als beoogd effect de verhoging van de kwaliteit van wetenschap. Deze wet vereiste dat academici voor het verkrijgen van bepaalde posities aan gekwantificeerde doelen moeten voldoen, zoals een minimaal aantal citaties (verwijzingen naar hun werk in academische artikelen).

Het gevolg? Het aantal zelf-citaties (verwijzingen naar het eigen werk) nam flink toe. De score op het aantal citaties (indicator) werd weliswaar verhoogd, maar de eigenlijke kwaliteit van onderzoek (doel) werd uit het oog verloren: indicatorisme.

Rule of three

Voor opiniestukken is het retorisch erg prettig als er drie problemen worden aangekaart – mooi overzichtelijk en makkelijk te onthouden. In de praktijk houdt het helaas niet op bij voorgenoemde drie problemen. Zo zijn er ook allerlei methodologische kwesties met ranglijsten.

Een recent artikel bij de Royal Statistical Society windt er geen doekjes om: bij ranglijsten ‘wordt vaak gekozen voor het opnemen van zaken die makkelijk te tellen zijn in plaats van aspecten die daadwerkelijk betekenisvol zijn’. Als voorbeeld worden citaties van academische artikelen genoemd: eenvoudig optelbaar en vergelijkbaar, maar zeer twijfelachtig om onderzoekskwaliteit te meten en erg makkelijk te manipuleren.

‘We zijn kennis technocratisch gaan benaderen, als een soort ingenieursproject’

Verder is het vreemd dat de stijgende reputatie van één universiteit in een ranglijst altijd ten koste moet gaan van die van een andere universiteit. Ook zijn er allerhande negatieve bijwerkingen wanneer de eisen van ranglijsten doorsijpelen in organisaties, zoals stress en prestatiedruk. En er is niet zelden sprake van belangenverstrengeling bij organisaties die ranglijsten produceren en ondertussen geld verdienen via ‘advieswerk’ aan scholen en universiteiten om hoger op een ranglijst te komen.

Perspectief

Maar er zijn ook lichtpuntjes. Het is een verademing dat Minister van Onderwijs, Cultuur en Wetenschap (OCW) Robbert Dijkgraaf zich zeer kritisch uitlaat over ranglijsten. ‘We zijn kennis technocratisch gaan benaderen, als een soort ingenieursproject. [...] We hebben eendimensionale wereld geschapen, die wordt bepaald door externe metrieke systemen.’

Samen met een groeiend aantal bestuurders en academici laat hij een kritisch geluid horen en vraagt hij onder de noemer van het initiatief ‘Erkennen en Waarderen’ meer aandacht voor een bredere benadering van wat de rol van universiteiten en hun medewerkers is. 

Ook de Europese Commissie adviseert expliciet tegen het gebruik van ranglijsten bij de beoordeling van onderzoekskwaliteit: ‘Dit helpt de onderzoeksgemeenschap [...] om autonoom tot beoordelingen te komen, in plaats van zich te moeten voegen naar criteria en methodologieën opgesteld door externe commerciële bedrijven.’

Er zou meer aandacht moeten komen voor kwaliteit, en minder voor kwantiteit. Daarbij stelt de Europese Commissie kritisch dat instellingen die publiekelijk hun ranglijstpositie communiceren, bijvoorbeeld via een persbericht of Twitter, bijdragen aan de problematische opvatting dat die zou corresponderen met kwaliteit. 

We moeten ons niet blindstaren op ranglijstjes en onze posities daarop

Afstand nemen van ranglijsten zal, ondanks deze positieve signalen, niet pijnloos zijn. Misschien zakken Nederlandse instellingen wat plaatsen in sommige lijstjes en komen er daardoor minder studenten van buiten de EU naar ons land – terwijl die studenten doorgaans meer collegegeld betalen en dus financieel belangrijk zijn voor universiteiten.

Er is moed van politici en bestuurders voor nodig om voorbij de lijstjes te kijken. Maar het vraagt ook iets van ons allemaal: dat we met elkaar in gesprek blijven over wat we verstaan onder goed onderwijs en onderzoek, en ons niet blindstaren op ranglijstjes en onze posities daarop. Dat maakt de weg vrij voor daadwerkelijke positieve impact.

Dr. Berend van der Kolk publiceerde het boek De meetmaatschappij, over de impact van cijfers, ranglijsten en prestatiemetingen op onze maatschappij. Hij is als universitair hoofddocent aan de VU Amsterdam verbonden.

Op 7 september organiseren Pakhuis De Zwijger en de VU Amsterdam een debatavond over het thema 'De meetmaatschappij' in het onderwijs. Experts, professionals en academici gaan in op de impact van cijfers, ranglijsten en prestatiemetingen op het onderwijs in Nederland. Meer info en (gratis) kaarten: https://dezwijger.nl/programma/leren-boven-presteren.