Een econoom gaat een stukje wandelen met zijn zoontje, die plotseling stopt en zegt: ‘Pappa, kijk, daar ligt een gouden munt.’ Zijn vader neemt niet eens de moeite om te kijken en zegt: ‘Alfred, als dat echt een gouden munt was, zou iemand anders haar allang hebben meegenomen.’ Dit is een van de varianten van een grap die de ronde doet over aanhangers van de Efficiënte Markt Hypothese, waarmee ik u hier niet zal vermoeien.

De econoom wordt hier afgeschilderd als iemand die niet of nauwelijks interesse heeft voor de economische werkelijkheid. Deze typering vinden we ook bij Nobelprijswinnaar Ronald Coase: ‘Wat zal een econoom doen als hij het gedrag van paarden wil bestuderen? Hij zou niet naar buiten gaan en paarden observeren, maar zich terugtrekken in zijn studeerkamer, om na te denken over de vraag: “wat zou ik doen als een paard was?” Om tot de conclusie te komen dat paarden hun nut maximaliseren.’

Het zal geen verbazing wekken dat Coase zeer sceptisch is over de neoklassieke theorie van het consumentengedrag, waarin consumenten hun behoeften maximaal willen bevredigen. ‘Er is geen reden om aan te nemen dat de meeste mensen zich bezighouden met het maximaliseren van iets, behalve misschien ongeluk — en zelfs dat maar met beperkt succes.’ Volgens hem is de economische wetenschap hier niet verder gekomen dan de Wet van de Vraag: als iets duurder wordt, zal het minder worden gekocht. En zelfs op deze simpele wet valt wel wat af te dingen.

Gegevens martelen

Ik ben bereid te accepteren dat een economisch model op onrealistische vooronderstellingen berust, zoals Milton Friedman beweert. Maar dan moet het wel mogelijk zijn uit dit model solide en falsifieerbare voorspellingen af te leiden; en juist op dit punt zijn economen niet erg scheutig.

Academische economen zullen nu gaan steigeren en tegenwerpen dat zij de meest geavanceerde regressie-analyses en andere statistische technieken gebruiken voor de toetsing van de hypothesen die uit hun modellen kunnen worden afgeleid. Het kortste antwoord hierop is — wederom — van Ronald Coase: ‘if you torture the data long enough, Nature will confess’. Hij bedoelt: als je maar lang genoeg zoekt naar de meest geschikte econometrische techniek en dataset, zul je altijd wel een empirische bevestiging van je hypothese vinden. Deze torture of the data wordt aantrekkelijker naarmate er meer statistische technieken beschikbaar komen, dus bij een uitbreiding van het martelarsenaal. En hij wordt dwangmatiger naarmate economische tijdschriften een sterkere voorkeur hebben voor publicaties waarin hypothesen worden bevestigd, natuurlijk met de hoogst mogelijke statistische significantie. Onderzoekers als Frey en Ioannidis  laten zien dat het ideaal van de falsifieerbare wetenschap nog heel ver uit zicht is.

Falsifieerbare voorspellingen

Voorspellingen doen is toch wel iets anders dan de empirische toetsing van hypothesen. Je moet dan namelijk nauwkeurig specificeren onder welke omstandigheden of voorwaarden jouw model bepaalde uitkomsten oplevert. Treden die omstandigheden inderdaad op en krijg je andere uitkomsten, dan kan het model in de prullenmand, of in ieder geval in de revisie. Je stelt je zo als wetenschapper heel kwetsbaar op, en dat kun je alleen doen als je over een heel goed model beschikt. Ze zijn heel dun gezaaid, dit soort betere economische studies, maar ik overzie natuurlijk niet de hele literatuur; ik houd mij aanbevolen voor uitzonderingen op de regel.

Hoe anders is het bij de bètawetenschappen, waar eerst uitgebreid onderzoek in het laboratorium wordt gedaan naar de precieze voorwaarden waaronder het beoogde effect optreedt. Zelfs als lab-onderzoek niet mogelijk is, is het in dit domein gebruikelijk de kritische condities te specificeren. Het beroemdste voorbeeld is Albert Einstein, die nauwkeurig aangaf wanneer zijn relativiteitstheorie verworpen zou moeten worden.

Wetenschap is het meest krachtig als de bedenkers van een model zich kwetsbaar opstellen door falsifieerbare voorspellingen over de toekomst te doen, en niet door het zoveelste bewijs dat het model wordt bevestigd op basis van gegevens uit het verleden. Ik stel voor dat iedere regressie-analyse voortaan wordt afgesloten met de waarschuwing ‘resultaten uit het verleden bieden geen garantie voor de toekomst’. Dat geldt bij uitstek voor de gamma-wetenschappen omdat het studie-object — de sociale en economische werkelijkheid — zo sterk kan veranderen. 

Voorspellingen doen is toch wel iets anders dan de empirische toetsing van hypothesen

Monocultuur

Nobelprijswinnaar Wassily Leontief constateerde in 1982 dat meer dan de helft van de artikelen in het toonaangevende American Economic Review wiskundige modellen bevatten zonder enige data. Dit aandeel is inmiddels gedaald door de sterk gestegen populariteit van de regressiemodellen, want daar heb je juist heel veel data voor nodig. Deze twee wiskundige methoden samen hadden in 2003/’04 een ‘marktaandeel’ van 98,5 procent, zo hebben Sutter en Pjersky (2007) berekend. Slechts 19 van de 130 artikelen die in die twee jaar door tien economische toptijdschriften waren gepubliceerd, zijn math-free, dus zonder wiskundige modellen of regressie-analyses. Dat betekent overigens niet dat het louter kwalitatieve studies zijn. Zo bevat deze kleine verzameling ook twee bijdragen van Thomas Piketty die behoorlijk kwantitatief zijn; zie zijn beroemde boek Capital in the 21st century. Het verschil is dat hij zelf data verzamelde uit verschillende bronnen, terwijl de andere studies overwegend data gebruiken van commerciële databases zoals Orbis, Thomson en Datastream.

Gedragseconomie

Economen zullen wellicht tegenwerpen dat bètawetenschappers het voordeel hebben dat ze in het lab allerlei proefjes kunnen doen om uitgebreid te variëren met uiteenlopende condities waaronder het veronderstelde verband tussen input en output gestalte zou kunnen krijgen. Economen en andere sociale wetenschappers beschikken niet over dit soort experimenteermogelijkheden. 

Economen hebben de onderzoeksmethode uit de psychologie nooit geleerd in hun studie

Niet waar, zeggen de onderzoekers die zich bezighouden met gedragseconomie. Zij zetten allerlei experimenten op, waarbij proefpersonen bepaalde keuzes krijgen voorgelegd die aan diverse bepalende factoren gerelateerd kunnen worden. U raadt het misschien al: het zijn vooral psychologen die dit soort experimenten uitvoeren, want economen hebben deze onderzoeksmethode nooit geleerd in hun studie.

Het is heel goed dat gedragseconomie — eindelijk — vleugels begint te krijgen, maar er is pas sprake van vooruitgang als dit leidt tot een ander soort economische modellen. Want al die studies laten zien dat mensen geen robots zijn die volgens de neoklassieke logica zijn geprogrammeerd. Integendeel, mensen maken gebruik van simpele vuistregels die hen in staat stellen om snel en efficiënt om te gaan met complexe beslissingen, wat door de luie economen gemakshalve wordt betiteld als irrationeel gedrag. Anders gezegd: normale mensen zoals u en ik hebben helemaal geen tijd en zin om allerlei ingewikkelde optimaliseringsmodellen toe te passen, en dat geldt zelfs voor sommige economen die deze modellen hebben bedacht en daarvoor de Nobelprijs hebben gekregen. 

Blind vertrouwen

Doen economen het beter als het gaat om toegepast onderzoek? Laten we eens kijken naar de recente CPB-studie over het Nederlandse arbeidsmarktbeleid. Als je het geduld kunt opbrengen om deze studie helemaal te lezen, dan zie je pas goed dat veel macro-economen — zeker bij het CPB — in een soort ivoren toren leven, met eigen opvattingen over het doen van wetenschappelijk verantwoord onderzoek. Van een Master-student wordt verwacht dat hij in zijn scriptie uitgebreid het econometrisch of theoretisch model beschrijft dat ten grondslag ligt aan zijn empirisch onderzoek. Voor het CPB gelden blijkbaar andere eisen, want nergens in het rapport vinden we informatie over het gehanteerde model. 

Weliswaar zijn er allerlei CPB-documenten waar de diverse modellen in worden beschreven, maar we willen natuurlijk weten hoe die modellen bij deze studie zijn gebruikt. Zo zou je toch mogen verwachten dat het CPB uitvoerig beschrijft hoe de Grote Recessie, dus de nasleep van de financiële crisis, is verwerkt in hun model; maar het rapport doet net alsof deze helemaal niet heeft plaatsgevonden, want ze wordt slechts één keer genoemd, op pagina 39. Het CPB zal tegenwerpen dat het rapport geen inschatting geeft van de conjuncturele maar van de 'langetermijneffecten'(p. 34), zonder overigens te vermelden hoe lang die termijn is. Dan maak je het jezelf wel heel erg makkelijk, want zoals Keynes al zei: ‘In the long run we’re all dead’. 

Hoe weten we dat de samenstellers van het CPB-rapport dit allemaal volgens de regels van het wetenschappelijke spel hebben gedaan?

Blijkbaar is het voor het CPB vanzelfsprekend dat de lezer blind vertrouwt op hun black box, en dus ook op de uitkomsten die daarmee worden gegenereerd. Het CPB laat weten dat zij zich beperkt tot ‘(potentiële) beleidsopties waarvoor overtuigende wetenschappelijke kennis over de effectiviteit beschikbaar is’ (p. 29). Hoewel de samenstellers waarschuwen dat ‘voorzichtigheid is geboden’ bij het toepassen van deze kennis, blijkt in de rest van het rapport weinig van deze voorzichtigheid. Integendeel: geen woord over de wijze waarop zij de wetenschappelijke literatuur — meestal uit het buitenland — hebben geselecteerd en vervolgens hebben gehanteerd. Hoe weten we dat de samenstellers van het CPB-rapport dit allemaal volgens de regels van het wetenschappelijke spel hebben gedaan? Het lijkt er eerder op dat zij de economische literatuur als grabbelton hebben gebruikt.

‘Eigenlijk kunnen wij er niets over zeggen’

Bij het lezen van het rapport kreeg ik gaandeweg steeds meer de indruk dat de betrokken CPB’ers het zelf ook niet meer weten. Zo maken ze enerzijds gedetailleerde inschattingen van het effect van diverse arbeidsmarktmaatregelen op de arbeidsproductiviteit, maar zeggen ze anderzijds dat dat ‘bijzonder lastig te meten is’ (p. 111). En blijkbaar hebben ze niet de moeite genomen om te onderzoeken waarom ‘de arbeidsproductiviteit, onder invloed van de grote recessie niet verder gestegen’ is sinds 2007 (p. 38).

Ook bij het effect op de werkgelegenheid, het overheidsbudget en zelfs de inkomensongelijkheid moeten allerlei slagen om de arm worden gehouden, zodat je je nog meer gaat afvragen wat die modeluitkomsten nu eigenlijk waard zijn. Ook rijst  de vraag of  het gebruikte model wel zo geschikt is om het effect van dit soort overheidsmaatregelen te onderzoeken.

Is dit een gotspe of pure domheid?

Vrijwel geen enkele maatregel die het CPB is tegengekomen, leidt tot meer werkgelegenheid. ‘Het verbaasde ons ook,’ reageerde een woordvoerder van het CPB. Volgens projectleider Marloes de Graaf kan dit resultaat positief worden geïnterpreteerd: ‘De arbeidsparticipatie is nu al zo hoog, dat kun je nauwelijks hoger krijgen. Het wordt steeds moeilijker om structureel meer werkgelegenheid te krijgen.’ Is dit een gotspe of pure domheid? Blijkbaar kijkt ze alleen naar haar eigen ‘soortgenoten,’ de hoger opgeleiden, waar de participatiegraad op 84 procent ligt. Bij de lager opgeleiden daarentegen is de arbeidsparticipatie met 52 procent veel lager (p. 38). Ze had moeten zeggen: ‘Het wordt steeds moeilijker om met ons model bruikbare uitkomsten te genereren.’ Of: ‘Ons model en de achterliggende theorie zijn niet (langer) geschikt om arbeidsmarkteffecten in kaart te brengen.’

Dat blijkt ook uit de behandeling van de enige arbeidsmaatregel die — althans volgens het CPB-model — wél een positief effect heeft op de werkgelegenheid: verlaging van het minimumloon. Het rapport vermeldt dat daardoor ook de armoede toeneemt (p. 14 en 62) maar besteedt geen aandacht aan de bestedingseffecten van deze maatregel — ongetwijfeld met het argument dat het geen conjuncturele analyse betreft. Volgens het CPB speelt de effectieve vraag dus geen enkele rol in de economische ontwikkeling op lange termijn; geen wonder dat bezuinigingen zo goed scoorden in de CPB-ramingen.

Back to basics

Het wordt hoog tijd dat we vooruitgang in de economische wetenschap niet langer zoeken in econometrische modellen die steeds verfijnder en ingewikkelder worden, en in overmatig geavanceerde regressietechnieken. Back to basics moet het nieuwe motto worden.

Zo had het CPB bij zijn analyse van het minimumloon eerst moeten kijken naar een simpele CEPR-studie. Deze laat zien dat de VS-staten waar per 1 januari 2014 het minimumloon is verhoogd, in de eerste vijf maanden van 2014 meer werkgelegenheidsgroei hadden dan de overige staten. Dit is een studie die iedereen begrijpt en kan controleren, en dat lijkt mij in het huidige tijdsgewricht een belangrijk criterium bij beleidsonderzoek. De volgende stap is natuurlijk om dit ‘

‘evidente bewijs’ kritisch te toetsen op zijn robuustheid: zijn er voldoende redenen om te twijfelen aan de conclusie, bijvoorbeeld omdat in de desbetreffende staten eerst de werkgelegenheid en daarna pas het minimumloon is verhoogd? Bovendien kan het CPB onderzoeken in hoeverre deze en andere buitenlandse studies bruikbaar zijn voor de huidige Nederlandse situatie.

Het onderscheid tussen conjuncturele en structurele effecten moet verdwijnen 

Back to basics betekent ook dat het onderscheid tussen conjuncturele en structurele effecten moet verdwijnen, althans bij beleidsonderzoek. Hoe lang moet de huidige economische stagnatie nog duren om economen én beleidsmakers te laten beseffen dat dit analytisch wel nuttig is maar — althans voorlopig — empirisch niet langer zinvol? Als de huidige CPB-modellen een obstakel vormen, dan moeten ze — voor dit element — maar in de prullenmand, in afwachting van betere.

Tevens wil ik bepleiten dat economische onderzoekers niet alleen gebruik maken van bestaande databases, maar ook andere data gaan verzamelen, zoals Thomas Piketty heeft gedaan — met opmerkelijke resultaten, waar zelfs Paul Krugman jaloers van werd — of nieuwe data genereren met experimenten en veldonderzoek.

Hand in eigen boezem

Ik vermoed dat veel economen — ook of juist bij het CPB — positief zullen reageren op mijn pleidooi, en de beschuldigende vinger uitsteken naar hun opdrachtgevers. Die zijn immers niet bereid om voldoende geld te steken in vernieuwend onderzoek, en geven de voorkeur aan snelle resultaten op basis van de bestaande modellen en data. Een kwestie van centen, maar ook een schrijnend gebrek aan politieke en intellectuele moed.

Als het om moed gaat, moeten economen niet alleen naar politici en andere beleidsmakers wijzen maar ook de hand in eigen boezem steken. Waar blijft de oproep van gezaghebbende topeconomen om voortaan geen onderzoek te doen dat pure window dressing is en eerder non-informatie oplevert dan bruikbare kennis? Als die economen werkelijk tot de top behoren, zouden ze ook concreet kunnen aangeven welke onderzoeksopdrachten niet langer verstrekt en uitgevoerd moeten worden omdat ze geen toegevoegde waarde hebben en eerder negatieve meeropbrengsten genereren. Ik vermoed dat ze daarbij de hulp van niet-economen — en van niet-academici — heel hard nodig hebben, vooral om een schets te geven van het onderzoek dat wél de moeite waard is, omdat het gaat om brandende maatschappelijke problemen en om fundamentele lacunes in de economische en andere sociale wetenschappen.

Wat doen we met het CPB?

Mij gaat de oproep van Peter Ester en Esther-Mirjam Sent niet ver genoeg. Zij bepleiten dat over belangrijke politieke en maatschappelijke kwesties niet alleen het CPB een advies uitbrengt, maar voortaan ook het Sociaal en Cultureel Planbureau (SCP) en het Planbureau voor de Leefomgeving (PBL). Zij willen zelfs dat alledrie de instituten hun zegje doen over de Rijksbegroting bij Prinsjesdag en over de verkiezingsprogramma’s van de politieke partijen. Hun intentie lijkt mij goed, maar ik vrees dat hun plan niet werkbaar is. Want de praktijk zal zijn dat politici en journalisten toch de meeste aandacht geven aan uitkomsten met euro’s en percentages, bij voorkeur over de portemonnee en de Schatkist, en daarin heeft het CPB nu eenmaal een ‘voorsprong’ op SCP en PBL. Bovendien hou je op die manier de monocultuur in stand die zich in elk van die instituten heeft ontwikkeld.

Het lijkt mij beter om deze drie instituten voor beleidsonderzoek eerst op één hoop te gooien, daarna flink te bezuinigen, en vervolgens twee of drie nieuwe instituten op te richten die elk een eigen koers gaan varen wat betreft het uitvoeren van beleidsondersteunend onderzoek. Een van die nieuwe instituten zou bijvoorbeeld de aanpak van het Britse Behavioural Insights Team kunnen hanteren. Belangrijkste inzet van deze reshuffling zou moeten zijn dat er een gezonde wedijver ontstaat tussen de uiteenlopende benaderingen.

Tot slot, om misverstanden te vermijden: ik verwijt de economen louter intellectuele en morele luiheid, want de meesten werken enorm hard. Maar dat gezwoeg levert nauwelijks méér output op, gemeten als bruikbare kennis over de economische werkelijkheid. Niet bepaald efficiënt dus, om hun eigen criterium te gebruiken.

Deze column wordt in iets gewijzigde vorm ook gepubliceerd op http://eco-simpel.nl/