Crisis in wetenschappelijk onderzoek: deel 1

column in De Morgen, 27 maart
Wim Van den Broeck
Wetenschap zelf is in crisis
Wim Van den Broeck is professor psychologie aan de Vrije Universiteit Brussel (VUB)
28 maart 2017

Het probleem is veel breder: de wetenschap zelf is in een heuse crisis verzeild geraakt. Het besef is nu volop doorgedrongen dat een belangrijk deel van de wetenschappelijke studies niet deugt (uit een reeks van eensluidende studies blijken de schattingen substantieel te zijn en soms hoger dan 50 procent). Als heel wat studies niet gerepliceerd kunnen worden en dus niet betrouwbaar blijken, dan impliceert dat niets minder dan een existentiële crisis in de wetenschap zelf, omdat deze inherent tot doel heeft de werkelijkheid op zo objectief mogelijke wijze te ontrafelen.
Maar ook de maatschappelijke impact van deze crisis kan moeilijk overschat worden: als het publiek de uitkomsten van wetenschappelijke studies niet langer kan vertrouwen, dan komt de geloofwaardigheid en de maatschappelijke relevantie van wetenschap in het gedrang en dreigt het draagvlak voor het investeren van publieke middelen in wetenschappelijk onderzoek af te kalven.

Confirmatiebias
Deze crisis is gelukkig niet het gevolg van het tekortschieten van de wetenschappelijke methode zelf, maar omgekeerd, van het slecht of gebrekkig toepassen van de wetenschappelijke methode. De analyse van de problemen is bekend. Het gaat zelden om echt frauduleus onderzoek, maar vele studies bevatten ernstige methodologische tekortkomingen: bijvoorbeeld vaak zijn er te kleine steekproeven, en vooral worden heel wat studies geplaagd door zogenaamde ‘confirmatiebias’, de neiging om alleen naar data te kijken die de favoriete hypothese bevestigen.

Een onderzoeksklimaat en -beleid dat vooral aanzet tot veel publiceren, ongeacht de kwaliteit van de publicaties, geeft de facto een sterke incentive voor allerlei instrumenteel gedrag dat zich vertaalt in het toepassen van bedenkelijke onderzoekspraktijken

Het wetenschappelijke huis staat dus in brand, maar academia reageert vooral door middel van damage control. Universiteiten moeten de problemen veel actiever aanpakken en de kop niet langer in het zand steken.

Er is slechts één manier om de geschetste crisis door te komen, namelijk sterk investeren in het degelijk opleiden van jonge onderzoekers en het permanent methodologisch laten bijscholen van meer ervaren onderzoekers. Nu gooien we jonge onderzoekers, na hun studies, onmiddellijk in het bad en zetten hen aan om zo snel mogelijk te publiceren. Echter, een onderzoeksklimaat en -beleid dat vooral aanzet tot veel publiceren, ongeacht de kwaliteit van de publicaties, geeft de facto een sterke incentive voor allerlei instrumenteel gedrag dat zich vertaalt in het toepassen van bedenkelijke onderzoekspraktijken.

Daar ligt de primaire rol van universiteiten: ervoor zorgen dat het onderscheid tussen goed en zwak onderzoek duidelijk wordt zodat uiteindelijk vooral onderzoek van goede kwaliteit overblijft. De politiek kan hierbij van onschatbare waarde zijn: neem de perverse incentives weg en financier universiteiten niet langer naar rato van het aantal doctoraten en publicaties.
De waarheid is u bij voorbaat dankbaar.