Hoe weet je of een wetenschappelijk onderzoek betrouwbaar is?
Een gids voor het beoordelen van wetenschappelijke claims: over peer review, steekproefomvang, foutmarges, belangenverstrengeling en causaliteit.
“Nieuw onderzoek toont aan dat…” Het is een veelgelezen openingszin in het nieuws en op sociale media. Toch betekent de publicatie van een wetenschappelijk artikel niet dat de uitkomsten automatisch vaststaan of onbetwistbaar zijn. Wetenschap is geen verzameling van absolute feiten, maar een systematisch proces van voortschrijdend inzicht.
Om claims op waarde te schatten, helpt het om te kijken naar vijf fundamentele methodologische pijlers.
1. De status van collegiale toetsing (peer review)
Voordat een studie in een gerenommeerd academisch tijdschrift verschijnt, doorloopt deze gewoonlijk een proces van peer review. Onafhankelijke vakgenoten controleren de opzet van het onderzoek, de wiskundige berekeningen en de logica van de getrokken conclusies.
- Preprints versus peer-reviewed artikelen: Tegenwoordig worden veel onderzoeksresultaten eerst gedeeld op preprint-servers (zoals arXiv of bioRxiv). Dit versnelt wetenschappelijke uitwisseling, maar zulke documenten zijn nog niet onderworpen aan onafhankelijke kwaliteitscontrole.
- Geen absolute garantie: Peer review filtert grove fouten en slordigheden weg, maar is geen waterdichte garantie tegen subtiele fouten of fraude. Het is een minimale kwaliteitsdrempel, geen definitief waarheidsstempel.
2. Steekproefgrootte en representativiteit
De bewijskracht van een experiment of enquête hangt sterk af van de omvang en samenstelling van de onderzochte groep:
- Kleine steekproeven: Een studie met twintig proefpersonen kan een toevallige uitschieter ten onrechte laten lijken op een wezenlijk effect. Hoe kleiner de groep, hoe groter de kans op toevalsbevindingen.
- Selectiebias: Wie is er onderzocht? Een medisch onderzoek dat uitsluitend is uitgevoerd onder gezonde mannelijke studenten, kan niet zonder meer worden doorgetrokken naar de algemene bevolking of kwetsbare ouderen. Ook laboratoriumproeven op muizen of celkweken betekenen nog niet dat hetzelfde effect bij mensen optreedt.
3. Onzekerheid en statistische betekenis
Degelijk wetenschappelijk onderzoek is transparant over onzekerheid. In de Nederlandse Gedragscode Wetenschappelijke Integriteit (onderschreven door KNAW, NWO en de universiteiten) is expliciet vastgelegd dat onderzoekers open moeten rapporteren over foutenmarges en statistische marges.
- Betrouwbaarheidsintervallen: Wetenschappelijke uitkomsten zijn schattingen. Een brede marge duidt op grote onzekerheid in de uitkomst.
- Statistische versus praktische relevantie: Een effect kan statistisch ‘significant’ zijn (de kans dat het door toeval ontstond is klein), maar in de echte wereld verwaarloosbaar klein zijn. Een dieet dat na een jaar gemiddeld 150 gram gewichtsverlies oplevert kan wetenschappelijk aantoonbaar zijn, maar heeft geen klinische betekenis.
- Data dredging (p-hacking): Wanneer onderzoekers honderden variabelen met elkaar kruisen totdat er toevallig ergens een statistisch verband opduikt, zonder vooraf opgestelde hypothese, levert dit vaak schijnverbanden op.
4. Correlatie versus causaliteit
Een van de meest gemaakte denkfouten in de interpretatie van wetenschap is het verwarren van een verband (correlatie) met een oorzakelijk verband (causaliteit):
- Als twee variabelen gelijktijdig stijgen of dalen, betekent dit niet dat de een de ander veroorzaakt.
- Vaak speelt er een derde factor mee (confounder). Mensen die veel biologische producten kopen, hebben bijvoorbeeld gemiddeld een betere gezondheid. Dat hoeft niet per se aan de voeding zelf te liggen: deze groep heeft gemiddeld ook een hoger inkomen, rookt minder en sport vaker.
- Om oorzaak en gevolg vast te stellen, zijn gerandomiseerde onderzoeken met controlegroepen (RCT’s) of zorgvuldige langetermijnmetingen nodig.
5. Financiering, belangen en herhaalbaarheid
Onderzoek staat nooit geheel los van maatschappelijke belangen:
- Belangenverstrengeling: Betrouwbare wetenschappelijke publicaties vermelden verplicht wie het onderzoek heeft gefinancierd en welke nevenfuncties de auteurs bekleden. Een studie naar suikerconsumptie die volledig is betaald door frisdrankfabrikanten vraagt om extra scherpe toetsing van de gebruikte methoden.
- Replicatie: Het belangrijkste kenmerk van een wetenschappelijke wetmatigheid is dat een ander, onafhankelijk onderzoeksteam hetzelfde experiment kan herhalen met vergelijkbare uitkomsten. Pas wanneer meerdere onafhankelijke onderzoeken in dezelfde richting wijzen, ontstaat wetenschappelijke consensus.