In 2005 schreef John Ioannidis, bekend om zijn onderzoek naar de validiteit van studies in de gezondheids- en medische wetenschappen, een essay met de titel “Why Most Published Research Findings are False.” De botte titel en Ioannidis’ provocerende en dwingende argumenten hebben van dit artikel een van de fundamenteelste literatuurstukken gemaakt op het gebied van metawetenschap en onderzoekstransparantie. Het zal je moeite kosten om een artikel over deze onderwerpen te vinden – gepubliceerd in een tijdschrift of in de populaire media – waarin het niet wordt genoemd.

In deze video laat ik u kennismaken met de verschillende soorten fouten die kunnen optreden in onderzoek, hun waarschijnlijkheid, en het concept van statistische kracht. We zullen ook leren over Positive Predictive Value, of de geloofwaardigheid van de bevindingen van een onderzoek, en hoe vertekeningen de resultaten kunnen beïnvloeden. Het laatste deel van de video legt zes uitvloeisels uit die wetenschappelijk onderzoek kenmerken en wat wetenschappers kunnen doen om de geldigheid van onderzoek te verbeteren. Hieronder gaan we dieper in op deze corollaries.

In het artikel schetst Ioannidis een kader voor het aantonen van:

• de waarschijnlijkheid dat onderzoeksbevindingen onjuist zijn,
• het aandeel van bevindingen in een bepaald onderzoeksgebied dat geldig is,
• hoe verschillende vooroordelen de uitkomsten van onderzoek beïnvloeden, en
• wat kan worden gedaan om fouten en vooroordelen te verminderen.

Ioannidis definieert bias eerst als “de combinatie van verschillende ontwerp-, gegevens-, analyse-, en presentatiefactoren die de neiging hebben om onderzoeksresultaten te produceren wanneer ze niet geproduceerd zouden moeten worden.” Hij gaat verder met te zeggen dat “bias kan leiden tot manipulatie in de analyse of rapportage van bevindingen. Selectieve of vertekende rapportage is een typische vorm van een dergelijke vertekening”.

Met toenemende vertekening neemt de kans af dat de bevindingen waar zijn. En omgekeerde bias – de verwerping van ware relaties als gevolg van meetfouten, inefficiënt gebruik van gegevens, en het niet herkennen van statistisch significante relaties – wordt minder waarschijnlijk naarmate de technologie voortschrijdt.

Een ander belangrijk punt dat Ioannidis maakt is dat, terwijl meerdere onderzoeksteams vaak dezelfde of soortgelijke onderzoeksvragen bestuderen, het de norm is dat de wetenschappelijke gemeenschap als geheel de neiging heeft zich te richten op een individuele ontdekking, in plaats van op bredere bewijzen.

Hij somt verder corollaries op over de waarschijnlijkheid dat een onderzoeksbevinding inderdaad waar is:

Corollary 1: “Hoe kleiner de studies die op een wetenschappelijk gebied worden uitgevoerd, hoe kleiner de kans dat de onderzoeksbevindingen waar zijn.” Hij verwijst hier naar de steekproefgrootte. De kans dat onderzoeksbevindingen waar zijn, is groter bij grotere studies, zoals gerandomiseerde gecontroleerde onderzoeken.

Corollarium 2: “Hoe kleiner de effectgroottes op een wetenschappelijk gebied, hoe kleiner de kans dat de onderzoeksbevindingen waar zijn.” Bedenk ook dat effectgrootte samenhangt met power. Een voorbeeld van een groot effect dat nuttig en waarschijnlijk waar is, is het effect van roken op kanker of hart- en vaatziekten. Dit is betrouwbaarder dan kleine veronderstelde effecten zoals genetische risicofactoren op ziekten. Zeer kleine effectgroottes kunnen wijzen op vals-positieve beweringen.

Corollarium 3: “Hoe groter het aantal en hoe kleiner de selectie van geteste relaties op een wetenschappelijk gebied, hoe kleiner de kans dat de onderzoeksbevindingen waar zijn.” Als de pre-study waarschijnlijkheid dat een bevinding waar is van invloed is op de post-study waarschijnlijkheid dat deze waar is, volgt hieruit dat bevindingen waarschijnlijker waar zijn in confirmatief onderzoek dan in exploratief onderzoek.

Corollary 4: “Hoe groter de flexibiliteit in designs, definities, uitkomsten, en analytische modi in een wetenschappelijk veld, hoe minder waarschijnlijk de onderzoeksbevindingen zijn om waar te zijn.” “Flexibiliteit”, vertelt Ioannidis ons, “vergroot de mogelijkheid om wat ‘negatieve’ resultaten zouden zijn, om te zetten in ‘positieve’ resultaten”. Om dit tegen te gaan, zijn pogingen ondernomen om de uitvoering en rapportage van onderzoek te standaardiseren, in de overtuiging dat het naleven van dergelijke normen tot meer ware bevindingen zal leiden. Waarheidsbevindingen komen wellicht ook vaker voor wanneer de uitkomsten universeel worden onderschreven, terwijl experimentele analysemethoden onderhevig kunnen zijn aan vooringenomenheid en selectieve rapportage van uitkomsten.

Corollarium 5: “Hoe groter de financiële en andere belangen en vooroordelen in een wetenschappelijk veld, hoe kleiner de kans dat de onderzoeksbevindingen waarheidsgetrouw zijn.” Belangenconflicten kunnen onvoldoende worden gemeld en kunnen de vooringenomenheid vergroten. Vooroordelen kunnen ook het gevolg zijn van het geloof of de gehechtheid van een wetenschapper aan een theorie of zijn eigen werk. Bovendien wordt soms onderzoek verricht uit eigenbelang om onderzoekers in aanmerking te laten komen voor promotie of een vaste aanstelling. Dit alles kan de resultaten vertekenen.

Corollarium 6: “Hoe heter een wetenschappelijk gebied (met meer onderzoekers en betrokken teams), hoe minder waarschijnlijk het is dat de onderzoeksbevindingen waar zijn. “Wanneer er veel spelers bij betrokken zijn, kan het voorblijven van de concurrentie de prioriteit worden, wat kan leiden tot overhaaste experimenten of een focus op het verkrijgen van flitsende en positieve resultaten die beter te publiceren zijn dan negatieve. Bovendien, wanneer teams zich concentreren op het publiceren van “positieve” resultaten, kunnen anderen willen reageren door “negatieve” resultaten te vinden om ze te weerleggen. Wat dan resulteert, is iets dat het Proteus-fenomeen wordt genoemd, dat snel afwisselende extreme onderzoeksbeweringen en tegengestelde weerleggingen beschrijft.

Gebruik makend van zijn raamwerk voor het bepalen van Positive Predictive Value en de bijbehorende corollaries, concludeert Ioannidis dat “de meeste onderzoeksbevindingen vals zijn voor de meeste onderzoeksontwerpen en voor de meeste gebieden.”

Hoewel de grote omvang van bevooroordeelde en valse onderzoeksbevindingen een harde realiteit mag lijken, kan de situatie op een paar manieren worden verbeterd. Ten eerste kunnen krachtigere en grotere studies het aandeel valse bevindingen in een literatuur verlagen, met het voorbehoud dat dergelijke studies nuttiger zijn wanneer zij vragen testen waarvoor de waarschijnlijkheid vóór de studie hoog is en wanneer zij zich richten op bredere concepten in plaats van specifieke vragen. Ten tweede, in plaats van zich te concentreren op significante bevindingen van afzonderlijke studies, zouden onderzoekers de nadruk moeten leggen op de totaliteit van het bewijsmateriaal. Ten derde kan vooringenomenheid worden verminderd door de onderzoeksnormen te verbeteren, met name door registratie vóór de studie aan te moedigen. Ten slotte suggereert Ioannidis dat, in plaats van alleen statistische significantie na te jagen, onderzoekers zich zouden moeten richten op het begrijpen van pre-study odds.

Na het lezen van dit, wat zijn uw reacties? Bent u verbaasd? Hoe, als dat al het geval is, verandert dit uw perceptie over onderzoek in het algemeen? Hoe zouden de individuele factoren die in de uitvloeisels worden beschreven elkaar kunnen beïnvloeden om bias te verergeren?

Lees het volledige essay op PLOS.org hier. U kunt deze link ook vinden in de SEE ALSO sectie onderaan deze pagina.