Under 2005 skrev John Ioannidis, som är välkänd för sin forskning om validiteten av studier inom hälsovetenskap och medicin, en uppsats med titeln ”Why Most Published Research Findings are False”. Den krasst formulerade titeln och Ioannidis provocerande och övertygande argument har gjort denna uppsats till en av de grundläggande litteraturstyckena inom områdena metavetenskap och forskningens öppenhet. Det är svårt att hitta en artikel om dessa ämnen – publicerad i en tidskrift eller i populärmedia – som inte nämner den.

I den här videon introducerar jag dig till de olika typerna av fel som kan uppstå i forskning, deras sannolikhet och begreppet statistisk styrka. Vi kommer också att lära oss om positivt prediktivt värde, eller trovärdigheten i en studies resultat, samt hur bias kan påverka resultaten. Den sista delen av videon lägger fram sex korollarier som kännetecknar vetenskaplig forskning och vad forskare kan göra för att förbättra forskningens giltighet. Vi går djupare in på dessa korollarier nedan.

I artikeln lägger Ioannidis fram ett ramverk för att visa:

• sannolikheten för att forskningsresultat är falska,
• andelen resultat inom ett visst forskningsområde som är giltiga,
• hur olika fördomar påverkar forskningsresultatet, och
• vad som kan göras för att minska fel och fördomar.

Ioannidis definierar först bias som ”kombinationen av olika faktorer för utformning, data, analys och presentation som tenderar att producera forskningsresultat när de inte borde produceras”. Han fortsätter med att säga att ”bias kan innebära manipulation i analysen eller rapporteringen av resultat. Selektiv eller förvrängd rapportering är en typisk form av sådan bias.”

Med ökad bias minskar chanserna för att resultaten är sanna. Och omvänd bias – avvisandet av sanna samband på grund av mätfel, ineffektiv användning av data och underlåtenhet att känna igen statistiskt signifikanta samband – blir mindre troligt i takt med att tekniken utvecklas.

En annan viktig punkt som Ioannidis tar upp är att även om flera forskargrupper ofta studerar samma eller liknande forskningsfrågor är det normen att forskarsamhället i sin helhet tenderar att fokusera på en enskild upptäckt, snarare än på bredare bevis.

Han fortsätter med att räkna upp korollarier om sannolikheten för att ett forskningsresultat verkligen är sant:

Korollarium 1: ”Ju färre studier som genomförs inom ett vetenskapligt område, desto mindre troligt är det att forskningsresultaten är sanna”. Han hänvisar här till urvalets storlek. Forskningsresultat har större sannolikhet att vara sanna med större studier, t.ex. randomiserade kontrollerade studier.

Korollarium 2: ”Ju mindre effektstorlek inom ett vetenskapligt område, desto mindre sannolikhet att forskningsresultaten är sanna”. Kom också ihåg att effektstorleken är relaterad till effekt. Ett exempel på en stor effekt som är användbar och sannolikt sann är rökningens inverkan på cancer eller hjärt- och kärlsjukdomar. Detta är mer tillförlitligt än små postulerade effekter som genetiska riskfaktorer på sjukdom. Mycket små effektstorlekar kan tyda på falskt positiva påståenden.

Korollarium 3: ”Ju större antal och mindre urval av testade samband inom ett vetenskapligt område, desto mindre sannolikt är det att forskningsresultaten är sanna”. Om sannolikheten före studien att ett resultat är sant påverkar sannolikheten efter studien att det är sant, följer att det är mer sannolikt att resultaten är sanna i bekräftande forskning än i utforskande forskning.

Korollarium 4: ”Ju större flexibilitet i utformning, definitioner, resultat och analysmetoder inom ett vetenskapligt område, desto mindre sannolikt är det att forskningsresultaten är sanna”. ”Flexibilitet”, berättar Ioannidis, ”ökar potentialen för att omvandla vad som skulle vara ’negativa’ resultat till ’positiva’ resultat”. För att motverka detta har man strävat efter att standardisera forskningens genomförande och rapportering i tron att följsamhet till sådana standarder kommer att öka de sanna resultaten. Sanna resultat kan också vara vanligare när resultaten är allmänt accepterade, medan experimentella analysmetoder kan vara föremål för bias och selektiv resultatrapportering.

Korollarium 5: ”Ju större ekonomiska och andra intressen och fördomar inom ett vetenskapligt område, desto mindre sannolikt är det att forskningsresultaten är sanna”. Intressekonflikter kan vara otillräckligt rapporterade och kan öka bias. Fördomar kan också uppstå på grund av en forskares tro eller engagemang för en teori eller sitt eget arbete. Dessutom utförs en del forskning av egenintresse för att ge forskarna kvalifikationer för befordran eller anställning. Allt detta kan snedvrida resultaten.

Korollarium 6: ”Ju hetare ett vetenskapligt område är (med fler forskare och team inblandade), desto mindre sannolikt är det att forskningsresultaten är sanna.” När många aktörer är inblandade kan det bli prioriterat att ligga före konkurrenterna, vilket kan leda till hastigt genomförda experiment eller ett fokus på att få flashiga och positiva resultat som är mer publicerbara än negativa resultat. När grupper fokuserar på att publicera ”positiva” resultat kan andra dessutom vilja svara genom att hitta ”negativa” resultat för att motbevisa dem. Resultatet blir då något som kallas Proteus-fenomenet, som beskriver snabbt alternerande extrema forskningspåståenden och motsatta vederläggningar.

Med hjälp av sitt ramverk för att bestämma det positiva prediktiva värdet och motsvarande följder drar Ioannidis slutsatsen att ”de flesta forskningsresultat är falska för de flesta forskningsdesigns och för de flesta områden.”

Men även om den breda omfattningen av vinklade och falska forskningsresultat kan tyckas vara en hård verklighet, så kan situationen förbättras på ett par sätt. För det första kan mer kraftfulla och större studier minska andelen falska resultat i en litteratur, med förbehållet att sådana studier är mer användbara när de testar frågor för vilka sannolikheten före studien är hög och när de fokuserar på bredare begrepp snarare än specifika frågor. För det andra bör forskarna i stället för att fokusera på viktiga resultat från enskilda studier betona de samlade bevisen. För det tredje kan bias minskas genom att förbättra forskningsnormerna, särskilt genom att uppmuntra registrering före studien. Slutligen föreslår Ioannidis att i stället för att bara jaga statistisk signifikans bör forskarna fokusera på att förstå oddsen före studierna.

När du har läst detta, vilka är dina reaktioner? Är du förvånad? Hur, om alls, förändrar detta din uppfattning om forskning i allmänhet? Hur kan de enskilda faktorer som beskrivs i konsekvenserna påverka varandra för att förvärra bias?

Läs hela uppsatsen på PLOS.org här. Du kan också hitta den här länken i avsnittet SEE ALSO längst ner på den här sidan.