Nieuwsbrief

Blijf wekelijks op de hoogte van het beste uit De Kennis van Nu en het laatste nieuws!

MELD JE AAN
Betrouwbaar onderzoek

Het is voor niet-wetenschappers niet altijd even makkelijk om in te schatten hoe betrouwbaar de uitkomsten van wetenschappelijk onderzoek zijn. Het blad Nature geeft daarom twintig tips, waar je als leek zoal op moet letten.

Hoe weet je als politicus, beleidsmaker, of gewoon als publiek wat je hebt aan een wetenschappelijk onderzoek? Hoe betrouwbaar is het? Waar moet je rekening mee houden, als je iets met de conclusies van het onderzoek wil doen? Het is voor lang niet iedereen even makkelijk om antwoord te vinden op zulke vragen. Zeker niet als je zelf geen wetenschappelijke achtergrond hebt.

Het wetenschappelijke tijdschrift Nature beseft dat ook. En publiceert daarom deze week een lijst met twintig tips over waar je op moet letten bij wetenschappelijke claims. Omdat we meenden dat de tips ook nuttig kunnen zijn voor de bezoekers van deze site, hebben we hier de acht belangrijkste samengevat. Voor sommigen zal het misschien gesneden koek zijn, maar voor anderen niet. Wil je de hele lijst met tips nalezen? Dat kan hier.
 

Metingen zijn nooit 100% exact

Geen enkele uitkomst van wetenschappelijk onderzoek is voor honderd procent exact. Er is altijd een foutmarge. Nieuwsmedia zullen die foutmarge vaak niet vermelden (want dan krijg je een saaie getallenopsomming), maar de originele onderzoeksartikelen wel. Hoe kleiner de foutmarge, hoe betrouwbaarder het resultaat. Een voorbeeld: stel dat je leest dat de economie in een bepaald land afgelopen maand met 0,13 procent is gegroeid. Als er een grote foutmarge is, kan het best zijn dat de economie eigenlijk niet is gegroeid maar gekrompen. Maar bij een kleine foutmarge is het wel waarschijnlijk dat er echt economische groei was. Een veel voorkomende manier om in wetenschappelijke artikelen foutmarges aan te geven, is om een getal te geven met daarachter het symbool +-  en een ander getal. Of met de afkorting SE, die staat voor standaardfout.

Hoe groter de steekproef, hoe beter

Onderzoek onder meer mensen, of waar meer proefdieren, bij betrokken waren, is altijd betrouwbaarder dan onderzoek dat naar een kleine groep keek. Het verhoogt de kans dat je echt een bepaald effect vindt, in plaats van een statistische afwijking. In het geval van medicijnonderzoek weet je bijvoorbeeld pas echt goed of een nieuw medicijn werkt als het op duizenden (en het liefst nog meer) mensen getest is. Want omdat ieder mens anders in elkaar zit, zal het bij verschillende personen net iets anders doen. Het gaat uiteindelijk om het effect op een gemiddeld persoon. De grootte van de onderzoeksgroep wordt in wetenschappelijke artikelen aangeduid met het symbool ‘N’.

Correlatie is geen causatie

Als een onderzoek een bepaald verband lijkt te vinden – bijvoorbeeld, als wetenschappers zien dat hoe meer exemplaren van een bepaalde algensoort er in een sloot zitten, hoe meer vissen er sterven – hoeft dat nog niet te betekenen dat het een het ander veroorzaakt. Er kan prima een onbekende, derde factor in het spel zijn. En dat de algen dus niet verantwoordelijk zijn voor de dood van de vissen. In dit voorbeeld kan er bijvoorbeeld een bepaalde stof in het water zitten die algen beter laat groeien, maar schadelijk is voor vissen.

Controlegroepen zijn belangrijk

Voor veel soorten onderzoek is het belangrijk om een goede controlegroep te hebben. Bijvoorbeeld bij medicijnonderzoek. Proefdieren of proefpersonen uit de controlegroep moeten zo veel mogelijk hetzelfde behandeld worden als degenen uit de groep waarmee het experiment wordt uitgevoerd. Alleen onderwerp je hen dus niet aan dat echte experiment. In het geval van medicijnonderzoek, is het erg belangrijk om te werken met een controlegroep die een placebo krijgt. Dat kan bijvoorbeeld een suikerpilletje zijn, met het uiterlijk van een echt medicijn. Of een ander soort nep-behandeling, die lijkt op degene die je wilt onderzoeken. Er zullen namelijk altijd individuen zijn die positief reageren op wat je ze ook geeft. Puur omdat ze denken dat ze een medicijn krijgen. Mensen kunnen hier zelfs ook echt (tijdelijk) fysiek van opknappen; dat is het roemruchte placebo-effect. Je weet pas zeker dat een medicijn of een ander soort behandeling echt iets doet, als het gunstigere uitkomsten geeft dan een placebo.

Houd rekening met mogelijke ‘bias’

Er is geen goede Nederlandse vertaling voor het woord ‘bias’, maar het betekent ongeveer zoiets als ‘afwijking’. En bij wetenschappelijk onderzoek ligt dit op allerlei vlakken op de loer. Als je bijvoorbeeld een grote groep mensen een vragenlijst laat invullen, wil je dat die mensen een goede doorsnede zijn van de samenleving. Maar als je vervolgens alleen mensen op internet werft, of alleen mensen op een doordeweekse dag aanspreekt op straat, kan dat afwijkingen in je resultaten geven. Omdat mensen die vaak op internet zitten en graag testen invullen, of mensen die overdag niet hoeven te werken, specifieke groepen zijn. En dus geen goede dwarsdoorsnede van de totale samenleving.

Een andere vorm van ‘bias’ in wetenschappelijk onderzoek, is dat studies die een duidelijk resultaat vinden eerder gepubliceerd zullen worden dan studies die geen resultaat vinden. Terwijl het ook belangrijk is om te weten als, bijvoorbeeld, een potentieel medicijn toch niet blijkt te werken. Als één klein onderzoek lijkt aan te tonen dat het medicijn werkt, en dit onderzoek wordt gepubliceerd; en vijf andere, grotere onderzoeken tonen aan dat het middel niet werkt, en deze worden niet gepubliceerd; dan is dat dus een probleem.

Een derde, belangrijke vorm van ‘bias’ is dat de verwachting van zowel onderzoekers als proefpersonen de uitkomsten van een onderzoek kunnen beïnvloeden. Dit sluit deels aan bij het vorige punt, het belang van een goede controlegroep. Het is ook de reden waarom deelnemers aan psychologische studies zelden wordt verteld wat er precies wordt onderzocht. En het is de reden waarom het belangrijk is dat medicijnonderzoek ‘dubbelblind’ wordt uitgevoerd. Bij dubbelblind onderzoek krijgt een deel van de proefpersonen het te testen medicijn, en de rest een placebo, dat sterk lijkt op het medicijn maar geen werkzame stof bevat. Zowel de proefpersonen als de artsen die hen behandelen weten bij een dubbelblind onderzoek niet wie het medicijn ontvangt en wie niet. Zodat de uitkomst op geen enkele manier, bewust of onbewust, kan worden beïnvloed door deze kennis.

Let op de significantie

Wetenschappers hebben het vaak over een ‘significant resultaat’. Dat betekent dat er maar een kleine kans is dat hun resultaten toeval zijn, in plaats van een echt resultaat. Het is altijd belangrijk om te kijken naar de waarde van de significantie. In wetenschappelijke artikelen wordt dit aangeduid met het symbool ‘P’. Bij het meeste wetenschappelijke onderzoek telt een uitkomst als significant als de waarde van P onder de 0,05 ligt. Dat betekent, dat de kans dat de uitkomst toeval is (en dus mogelijk niet klopt) kleiner is dan één op twintig. Hoe kleiner de waarde van P, hoe beter.

Replicatie is belangrijk

Wetenschappelijk onderzoek is pas echt betrouwbaar als het meerdere malen herhaald is, het liefst door verschillende, onafhankelijke onderzoeksgroepen. Maar wel altijd met zo sterk mogelijk vergelijkbare methoden. Als meerdere, onafhankelijke onderzoeken allemaal hetzelfde resultaat geven, is het veel zekerder dat dat resultaat ook echt klopt. In dit verband zijn zogenoemde metastudies erg belangrijk. Metastudies zijn onderzoeken waarbij alle eerdere onderzoeken naar een bepaald verschijnsel bij elkaar worden geveegd. Daarbij wordt kritisch gekeken naar hoe betrouwbaar die verschillende onderzoeken zijn. Vervolgens worden de uitkomsten van die eerdere onderzoeken samen nog een keer geanalyseerd. Dit geeft een betere uitkomst dan de onderzoeken per stuk doen, omdat de losse uitkomsten onderling vrijwel onvermijdelijk iets zullen verschillen.

Wetenschappers zijn ook mensen

Wetenschappers hebben er, zoals de meeste mensen, belang bij om hun werk te promoten. Omdat dit ze status oplevert, of omdat ze zo meer onderzoeksgeld kunnen krijgen. Op zich is hier niet zo veel mis mee. Maar hou er altijd rekening mee, dat het soms kan gebeuren dat wetenschappers hun resultaten net iets mooier voorschotelen dan ze eigenlijk zijn. En in extreme gevallen zelfs veel te mooi. Kijk het liefst dus altijd kritisch na of wat iemand beweert, ook echt overeen komt met het onderzoek dat die persoon heeft gedaan.