© Reinout Dijkstra

Kinderopvangorganisaties weigeren massaal medewerking aan kwaliteitsonderzoek

De toeslagenaffaire versterkt bij veel politieke partijen de roep om gratis kinderopvang. Of zo’n nieuw stelsel er komt, is onduidelijk. Wél is zeker dat de uitwerking hiervan op kinderen valt of staat bij de geboden pedagogische kwaliteit. Volgens onderzoek van het ministerie van SZW behoren de Nederlandse crèches tot de top van de wereld. Maar volgens twee wetenschappers is deze conclusie helemaal niet te trekken. ‘Drijfzand’ noemen ze de pijlers waarop het onderzoek naar de kwaliteit van de kinderopvang is gebaseerd.

‘Kwaliteit van de Nederlandse kinderopvang verder gestegen.’ Het in maart vorig jaar verstuurde persbericht van het Ministerie van Sociale Zaken en Werkgelegenheid (SZW) loopt over van enthousiasme. Aanleiding is het verschijnen van het nieuwste onderzoeksrapport over de kwaliteit van de kinderopvang, het zogenaamde LKK-rapport (Landelijke Kwaliteitsmonitor Kinderopvang). Op basis van dit onderzoek – uitgevoerd door een groep onderzoekers van de Universiteit Utrecht en onderzoeksbureau Sardes – concludeert het ministerie, tevens opdrachtgever en financierder van het onderzoek, dat de kwaliteit van de Nederlandse kinderopvang inmiddels zó hoog is dat we internationaal gezien een ‘toppositie’ innemen. ‘Ons land scoort goed op de algehele kwaliteit en kent relatief weinig kwaliteitsverschillen tussen de groepen. Het niveau is vergelijkbaar of hoger dan in (gids)landen als Denemarken, Finland, Noorwegen, Engeland en Australië.’

Goed nieuws zou je denken voor de bijna 700.000 kinderen tussen de nul en vier jaar die gemiddeld veertien uur per week worden opgevangen in een kinderdagverblijf omdat hun ouders moeten werken. Ware het niet dat dit nieuws hoogstwaarschijnlijk niet klopt. Twee onafhankelijk van elkaar benaderde wetenschappers – Rien van IJzendoorn, hoogleraar Algemene en Gezinspedagogiek aan de Erasmus Universiteit Rotterdam en winnaar van de prestigieuze Spinozaprijs in 2004, en Erik van Schooten, lector Taalverwerving en Taalontwikkeling aan de Hogeschool Rotterdam en onderzoeker aan het Kohnstamm Instituut van de Universiteit van Amsterdam – stellen namelijk dat op basis van dit onderzoek deze positieve conclusie helemaal niet te trekken is. ‘Drijfzand’ noemt Van IJzendoorn de pijlers waarop het onderzoek is gebaseerd.

Gebrekkige kwaliteitsmeting

De belangrijkste bezwaren van beide wetenschappers laten weinig heel van het onderzoek. Zo weigerde 67 procent van de aangeschreven kinderdagverblijven mee te werken aan het onderzoek. Ook waren de steekproeven te klein: jaarlijks werd er naar 32 van de in totaal 9000 kinderdagverblijven gekeken. Daarnaast zijn de bevindingen van verschillende jaren – 2017, 2018 en 2019 – ten onrechte bij elkaar opgeteld om tot een gecombineerde steekproef van 96 kinderdagverblijven te komen. Dat is bedenkelijk, want de omstandigheden in 2017 kunnen heel anders zijn dan in 2019. Dat geeft een vertekend beeld – helemaal bij een kleine steekproef en een hoge non-respons.

Er zullen maar weinig ouders zijn die graag zo’n 7 procent van hun nettoloon opofferen om hun kind te mogen achterlaten bij een matige crèche

Als de pijlers van dit kwaliteitsonderzoek inderdaad zo wankel blijken te zijn, komt er veel op losse schroeven te staan in een sector waar jaarlijks ruim 4 miljard euro wordt omgezet. Zo werd er in 2018 en 2019 gemiddeld (er zijn commerciële én niet-commerciële opvanginstellingen) 11,5 procent winst gemaakt (voor belasting). Het (financiële) succes van een kinderopvangondernemer hangt immers voor een groot deel af van het vertrouwen van ouders in de pedagogische kwaliteit; er zullen maar weinig ouders zijn die graag zo’n 7 procent van hun nettoloon opofferen om hun kind te mogen achterlaten bij een matige crèche. 

Maar wat veel erger is: met een gebrekkige kwaliteitsmeting komt ook de gezonde ontwikkeling van kinderen op losse schroeven te staan. Kinderopvang is namelijk veel meer dan een ‘bewaarplaats’.

James Heckman

"Iedere geïnvesteerde dollar in kwalitatief zeer hoogstaande kinderopvang betaalt zich soms tot wel twaalf keer terug op de lange termijn"

Breinontwikkeling

De (neuro)psychologische kennis die in de afgelopen decennia is vergaard, laat zien dat de eerste levensjaren van een mens bepalend zijn voor zijn sociaal-emotionele en cognitieve ontwikkeling. Anders dan lange tijd werd gedacht, hangt de belangrijke breinontwikkeling die kinderen in deze periode doormaken niet alleen af van hun genenpakket, maar voor een (heel) groot deel ook van de manier waarop er voor ze wordt gezorgd en van de mate waarin ze worden gestimuleerd. Dat is te lezen op website van de National Scientific Council on the Developing Child, een platform waarop Harvard University de kennis over de (brein)ontwikkeling van jonge kinderen toegankelijk probeert te maken voor beleidsmakers en andere geïnteresseerden.

Twee langlopende onderzoeken in de Verenigde Staten – het Abecedarian Project en het Perry Preschool Project; beide opgestart in de jaren zestig en zeventig van de vorige eeuw – laten dat ook heel mooi zien. Bij deze projecten kregen kinderen die opgroeiden in achterstandswijken de kans om vijf dagen per week gebruik te maken van kwalitatief hoogwaardige kinderopvang. Vervolgens keken de onderzoekers naar hoe deze kinderen zich ontwikkelden. Dat leverde spectaculaire resultaten op. Nog steeds hebben de kinderen die destijds in aanmerking kwamen voor de genoemde baby- en peuterprojecten – inmiddels veertigers en vijftigers – gemiddeld genomen een hoger inkomen dan de kinderen die destijds in dezelfde wijk opgroeiden zónder die hoogwaardige kinderopvang. Daarnaast zijn de ‘crèchekinderen’ emotioneel gezonder (minder depressie, minder verslavingen), maken ze minder gebruik van uitkeringen, waren ze minder vaak heel jong zwanger (tienerzwangerschappen) en komen ze minder vaak in aanraking met justitie. Op basis van deze uitkomsten berekende de University of Chicago-econoom James Heckman, winnaar van de Nobelprijs voor de Economie in 2000, dat iedere geïnvesteerde dollar in kwalitatief zeer hoogstaande kinderopvang, zich soms tot wel twaalf keer terugbetaalt op de lange termijn.

Is de crèche een verbetering of een verslechtering ten opzichte van de thuissituatie?

Toch is dit succes niet zomaar te generaliseren naar de hele kinderopvang. Canadese onderzoekers ontdekten bijvoorbeeld dat intensief gebruik van kinderopvang (nul tot vier jaar) van gemiddelde kwaliteit ook ongunstig kan uitpakken. Het onderzoek suggereert dat de (bijna) gratis kinderopvang die nu ruim twintig jaar in de Canadese provincie Quebec wordt aangeboden en flink wordt benut (60 procent van de ouders maakt er gebruik van) op latere leeftijd vaker leidt tot sociaal-emotionele problemen. De onderzoekers ontdekten bijvoorbeeld dat de voormalige crèchekinderen op latere leeftijd – tussen de vijf en negen jaar – vaker kampten met angsten, agressie en hyperactiviteit (vooral jongens) dan een vergelijkbare controlegroep Canadese kinderen in een provincie waar de kinderopvang niet gratis was. Op latere leeftijd – de kinderen waren nu tussen de twaalf en twintig – waren deze effecten nog steeds zichtbaar. Ook kwamen de kinderen vaker in aanraking met justitie en schatten ze hun eigen gezondheid en welbevinden slechter in dan de kinderen uit de controlegroep

Dat die verschillen zo groot zijn, heeft volgens de Canadese onderzoekers te maken met de kwaliteit van de geboden opvang. Maar wat volgens hen eveneens speelt is de relatieve kwaliteit. Met andere woorden: is de crèche een verbetering of een verslechtering ten opzichte van de thuissituatie? Zo bleken kinderen uit kansrijke gezinnen vaker slechter af in de gratis Canadese kinderopvang van gemiddelde kwaliteit dan de kinderen uit kansarme gezinnen.

Kortom: goed onderzoek naar de pedagogische kwaliteit van de kinderopvang – iets dat losstaat van de GGD-inspectie die vooral kijkt of crèches aan de minimale (veiligheids)eisen voldoen, zoals bijvoorbeeld de groepsgrootte of leidsterkindratio – is dus van wezenlijk belang voor kinderen. Daar mag je als onderzoeker niet te lichtzinnig mee omspringen, benadrukken Van IJzendoorn en Van Schooten.

Verbazing

Hebben de LKK-onderzoekers dat gedaan? Gevraagd naar een reactie op de kritiek van Van IJzendoorn en Van Schooten laat de Landelijke Kwaliteitsmonitor Kinderopvang om te beginnen weten verbaasd te zijn. In het verleden zijn de negatieve bevindingen van andere kwaliteitsonderzoekers breed uitgemeten in de pers. ‘Maar,’ zo schrijft de LKK in een mail, ‘het positieve resultaat van nu, gebaseerd op het werk van verschillende onderzoeksteams, moet kennelijk ondermijnd.’ De LKK vindt dat ‘niet in het belang van de sector die sinds 2005 niet alleen enorm is gegroeid maar ook erg zijn best heeft gedaan om goede kwaliteit te bieden’.

Los van deze emotionele reactie reageert LKK ook inhoudelijk op de kritiek. Om tot wetenschappelijk betrouwbare uitspraken te komen heeft de LKK om te beginnen de weigerende kinderdagverblijven (in 2019 wilde 71 procent van de aangeschreven crèches niet meedoen aan het onderzoek) vervangen door steeds een nieuwe steekproef te trekken. Vervolgens is gekeken of die nieuwe steekproef nog wel representatief is. Zaten daar bijvoorbeeld niet alleen de beste kinderdagverblijven in?

‘Ze moeten niet achteraf beredeneren waarom de steekproef misschien toch wél representatief is, ze moeten aannemelijk maken dat de steekproef representatief is’

De uitkomsten van dat onderzoek gaven de LKK-onderzoekers alle vertrouwen. In hun rapport schrijven ze: ‘Analyse van de redenen om van deelname af te zien gaf geen aanleiding te concluderen dat de positieve respons in de kinderdagopvang, peuteropvang en buitenschoolse opvang vertekend is. De steekproeven van deze opvangsoorten kunnen daarom als representatief worden gezien.’

Erik van Schooten is verbaasd over deze bewering. De onderzoekers maken volgens hem een ‘fundamentele denkfout’. ‘Ze moeten niet achteraf beredeneren waarom de steekproef misschien toch wél representatief is, ze moeten aannemelijk maken dat de steekproef representatief is. Daarvoor heb je naast een goed steekproefkader en een random trekking ook een respons nodig van 80 procent of meer. Zelfs 80 procent is eigenlijk aan de lage kant.’

Ook Van IJzendoorn vindt dat zo’n analyse geen steek houdt. ‘Het is een speculatieve en daarmee onwetenschappelijke analyse.’ Daarnaast wijst hij op één van de verklaringen die LKK geeft voor de hoge non-response van de kinderdagverblijven: ‘De sector is enorm gegroeid en heeft voortdurend hard moeten werken om een balans tussen expansie en kwaliteit te vinden. De sector heeft het erg druk, kampt met structureel personeelstekort, en is zeker vanaf 2010 voortdurend bezig met de implementatie van nieuwe wet- en regelgeving.’

Volgens Van IJzendoorn geeft deze reden vooral aanleiding om te denken dat de kinderdagverblijven moeite hebben om de kwaliteit op orde te houden – laat staan dat die kwaliteit gestegen zou zijn. ‘Daar moet je dus heel kritisch naar kijken,’ aldus de pedagoog.

Wat vindt de sector zelf?

Hoe kijkt de kinderopvangsector zelf naar de kritiek van Van Schooten en Van IJzendoorn? Vindt de sector het niet zorgelijk dat het merendeel van de kinderdagverblijven niet wil meewerken aan het LKK-onderzoek omdat ze ‘geen waarde hechten aan onderzoek’, het ‘te belastend’ vinden, ‘kampen met een personeelstekort’, of te maken hebben ‘veel personele wisselingen’ – om  een greep te doen uit de verklaringen die zijn terug te lezen in het onderzoeksrapport van LKK. Wekt dat niet de indruk dat het juist de zwakkere kinderdagverblijven zijn die buiten de steekproef vallen?

De Brancheorganisatie Kinderopvang, die vooral de grote commerciële kinderopvangorganisaties vertegenwoordigt, is daar niet bang voor. Dat maar 30 procent van de aangeschreven kinderdagverblijven wil meewerken aan onderzoek klinkt misschien als een lage score, ‘maar is weer heel goed in de marketingwereld’, schrijft woordvoerder Gaëlle Blok in een mail. Ze geeft verder aan dat de sector groot voorstander is van wetenschappelijk onderzoek en dat ze haar leden altijd aanraadt om daaraan mee te doen. Wel zouden de onderzoekers het voor de kinderdagverblijven wat aantrekkelijker kunnen maken, aldus Blok. ‘Bijvoorbeeld door het geven van adviezen naar aanleiding van de observaties, zodat ze er ook direct van kunnen leren.’ Op de vraag wat het onderzoek precies zo belastend maakt – ze worden toch alleen geobserveerd? – komt echter geen antwoord.

Ook de Branchevereniging Maatschappelijke Kinderopvang (BMK), de vertegenwoordiger van de niet-commerciële kinderopvangorganisaties, denkt niet dat de lage respons een vertekend beeld geeft. Voorzitter Loes Ypma zegt begrip te hebben voor de organisaties die niet wilden meewerken. ‘Er komt namelijk écht veel op ze af – nieuwe regelgeving etcetera.’ Daar hebben ze volgens haar hun handen al vol aan. Daarnaast zegt Ypma dat veel maatschappelijke kinderopvangorganisaties al heel professioneel bezig zijn met kwaliteitsverbetering. ‘Er wordt veel gemonitord en geëvalueerd.’ Wel zegt BMK te willen onderzoeken hoe er in de toekomst voor gezorgd kan worden dat meer organisaties gaan meewerken. Maar een verplichting om mee te werken ziet Ypma niet zitten. ‘Wij zien op ledenbijeenkomsten al een grote motivatie om te werken aan continue kwaliteitsontwikkeling.’

Erik van Schooten

"De overheid ziet haar eigen beperkingen niet en ziet evenmin in dat de onderzoekers vrij hun wetenschappelijke werk moeten kunnen doen"

Rol van ministerie

Beschamen de LKK-onderzoekers nu het vertrouwen van hun opdrachtgever – het ministerie van SZW dat zo’n enthousiast persbericht naar buiten bracht? Daar lijkt het niet op. Eerder het omgekeerde. SZW lijkt het namelijk niet heel erg nauw te nemen met wetenschappelijk onderzoek. Zo waren het niet de onderzoekers van de Universiteit Utrecht en het onderzoeksbureau Sardes zélf die de – in de ogen van Van IJzendoorn en Van Schooten onwetenschappelijke – onderzoeksvoorwaarden van het LKK-onderzoek opstelden, maar de ambtenaren van het ministerie van SZW. 

In het aanbestedingsdocument schrijft het ministerie: ‘Het meten van de pedagogische kwaliteit in de kinderopvang is zeer arbeidsintensief, en daarmee kostbaar. Om deze kosten te beperken wordt de jaarlijkse steekproefgrootte zo vormgegeven dat na maximaal drie jaren een representatief gemiddelde kan worden berekend van de scores op de kwaliteitskenmerken. In de periode daarna zal jaarlijks een voortschrijdend gemiddelde per kinderopvangsoort worden berekend.’ Jaarlijks dienen 32 van 9000 kinderdagverblijven te worden bezocht, zo meldt het document.

Voor een dubbeltje immers geen eerste rang

Deze vooropgestelde onderzoeksvoorwaarden van het ministerie – het optellen dus van kleine steekproeven over de jaren – waren voor een andere groep wetenschappers (een consortium van drie Nederlandse universiteiten waarvan de namen bekend zijn bij de hoofdredactie) reden om een tegenvoorstel te doen dat in hun ogen wetenschappelijk beter was onderbouwd. Net als Van IJzendoorn en Van Schooten vond ook deze groep wetenschappers dat een optelling van steekproeven zorgt voor veel te veel ruis; de omstandigheden in 2017 kunnen immers heel anders zijn dan in 2019. Dit voorstel wees het ministerie af.

En dus kreeg het ministerie precies wat het heeft besteld. Een onderzoek dat volgens Van IJzendoorn en Van Schooten hooguit een zeer beperkt beeld geeft van hoe het er nu écht voor staat in de kinderopvang: voor een dubbeltje immers geen eerste rang. Of in de woorden van Van IJzendoorn: ‘Een staanplaats in de engelenbak waarbij het zicht op het toneel is belemmerd door een pilaar.’

Vervolgonderzoek

Dat SZW zich inhoudelijk bemoeit met wetenschappelijk onderzoek, is geen nieuw verschijnsel. Toen in 2005 onderzoekers van de universiteiten van Amsterdam, Leiden en Nijmegen – destijds verenigd in het Nederlands Consortium Kinderopvang Onderzoek (NCKO) – constateerden dat de pedagogische kwaliteit van de kinderdagverblijven in Nederland achteruit ging, dreigden de kinderopvangondernemers – destijds verenigd in de MO-groep – niet meer mee te werken aan vervolgonderzoek. Zij waren ervan overtuigd dat het wetenschappelijke onderzoek van de NCKO ondeugdelijk was uitgevoerd; de kwaliteit kon niet zo slecht zijn als het rapport beschreef. De oproep van de MO-groep was effectief: het was hierna heel erg moeilijk om kinderopvangondernemers te vinden die wilden meewerken aan vervolgonderzoek.

Dat SZW zich inhoudelijk bemoeit met wetenschappelijk onderzoek, is geen nieuw verschijnsel

Het ministerie keurde deze houding van de kinderopvangondernemers weliswaar af, maar drong er bij de wetenschappers óók op aan bij volgende onderzoeken meer rekening te houden met de wensen van de ondernemers. Ook bleef Catalpa – destijds een van de grootste commerciële kinderopvangorganisaties – zitting houden in de wetenschappelijke adviesraad van het NCKO.

Voor de Leidse onderzoekers was dit reden om uit het onderzoek te stappen – zij vonden het wetenschappelijk principieel onjuist dat financieel belanghebbenden ook maar enige invloed zouden hebben op het onderzoek.

Top van wereld?

Dat hadden de LKK-onderzoekers ook moeten doen, vindt Van IJzendoorn. ‘Onderzoekers zouden moeten weigeren voor een dubbeltje een onderzoek uit te voeren. Het ministerie zou eindelijk een behoorlijk budget voor een longitudinale studie beschikbaar moeten stellen en de kinderopvang moeten verplichten mee te werken in plaats van weg te duiken voor de kritische blik van onafhankelijke onderzoekers.’

Van Schooten valt hem bij: ‘De overheid ziet haar eigen beperkingen niet en ziet evenmin in dat de onderzoekers vrij hun wetenschappelijke werk moeten kunnen doen. Als ze echt de uitkomsten willen dicteren, moeten ze een reclamebureau benaderen en niet een wetenschappelijk onderzoeksinstituut. Al is het tegenwoordig soms wel de vraag of dat verschil nog zo groot is.’

Op dit moment pleiten verschillende politieke partijen – GroenLinks, PvdA, D66 en SP – voor gratis kinderopvang voor alle kinderen. Misschien moet er eerst serieus gekeken worden naar de kwaliteit van het huidige aanbod, alvorens er nieuwe plannen worden opgesteld op basis van ronkende persberichten die melden dat de Nederlandse kinderopvang behoort tot de top van de wereld.

 

In de komende weken ga ik dit verhaal verder uitdiepen. Wat doet marktwerking in de kinderopvang precies? Is ‘gratis’ kinderopvang een goed alternatief? En hoe gaan andere landen hiermee om?

Reactie ministerie van SZW

‘Het ministerie van Sociale Zaken en Werkgelegenheid vindt het van groot belang dat de ontwikkeling van de kwaliteit van de Nederlandse kinderopvang wordt gemeten en gevolgd. Het vergaren van onderzoeksdata voor het meten van de kwaliteit van de kinderopvang kent zijn beperkingen. Voor dergelijk onderzoek is het immers nodig om kinderen en pedagogisch medewerkers te filmen en observeren. Dit kan, op basis van privacyoverwegingen, in de praktijk een drempel vormen voor deelname aan dergelijk onderzoek. Deelname aan onderzoek in de kinderopvang is op basis hiervan ook niet verplicht. Dit geldt ook voor het LKK-onderzoek. Uiteraard proberen de onderzoekers van LKK er tijdens de metingen alles aan te doen om de belasting voor kinderen en medewerkers zo laag mogelijk te houden.

De LKK-onderzoekers zijn zich bewust van de genoemde beperkingen en zijn daar transparant over in hun rapportages. Data worden daarop gecorrigeerd of resultaten worden met voorbehoud weergegeven. De onderzoekers hebben daarbij de verantwoordelijkheid om een methodologisch verantwoord onderzoek uit te voeren. Het ministerie van Sociale Zaken en Werkgelegenheid staat achter de onderzoeksresultaten van de onderzoekers van LKK. Tegelijkertijd is en blijft het ministerie voortdurend in overleg met de onderzoekers over mogelijke verbeteringen van het LKK-onderzoek. Elk signaal wordt serieus besproken. Dit geldt ook voor de signalen die in het FTM-artikel naar voren komen.

Ten slotte geldt dat het Nederlands kinderopvangbeleid op meer wordt gebaseerd dan alleen het LKK-onderzoek. Denk hierbij aan andere onderzoeken over kinderopvang, contacten met toezichthouders, contacten met het kinderopvangveld en met ouders. De laatste jaren is fors geïnvesteerd in de kwaliteit van kinderopvang. Door de sector zelf, door financiering van onderzoek en door de aanscherping van kwaliteitseisen.’

Lees verder Inklappen