V roce 2005 napsal John Ioannidis, známý svým výzkumem validity studií ve zdravotnictví a lékařských vědách, esej s názvem „Proč je většina publikovaných výsledků výzkumu nepravdivá“. Díky přímočarému názvu a Ioannidisovým provokativním a přesvědčivým argumentům se tento článek stal jednou ze základních literárních prací v oblasti metavědy a transparentnosti výzkumu. Těžko byste hledali článek na tato témata – publikovaný v časopise nebo v populárních médiích -, který by se o něm nezmiňoval.

V tomto videu vás seznámím s různými typy chyb, které se mohou ve výzkumu vyskytnout, s jejich pravděpodobností a s konceptem statistické síly. Dozvíme se také o pozitivní prediktivní hodnotě neboli věrohodnosti výsledků studie a také o tom, jak mohou zkreslení ovlivnit výsledky. V poslední části videa je uvedeno šest důsledků, které charakterizují vědecký výzkum, a co mohou vědci udělat pro zlepšení validity výzkumu. Níže se těmto korolárům věnujeme podrobněji.

V článku Ioannidis stanoví rámec, který ukazuje:

• pravděpodobnost, že výsledky výzkumu jsou nepravdivé,
• podíl výsledků v dané oblasti výzkumu, které jsou platné,
• jak různá zkreslení ovlivňují výsledky výzkumu a
• co lze udělat pro snížení chyb a zkreslení.

Ioannidis nejprve definuje zkreslení jako „kombinaci různých faktorů designu, dat, analýzy a prezentace, které mají tendenci vést k výsledkům výzkumu, i když by k nim dojít nemělo“. Dále uvádí, že „zkreslení může znamenat manipulaci při analýze nebo vykazování výsledků. Typickou formou takového zkreslení je selektivní nebo zkreslené podávání zpráv.“

S rostoucím zkreslením klesá pravděpodobnost, že zjištění jsou pravdivá. A obrácené zkreslení – odmítnutí pravdivých vztahů v důsledku chyby měření, neefektivního využití dat a nerozpoznání statisticky významných vztahů – se s rozvojem technologií stává méně pravděpodobným.

Dalším důležitým bodem, který Ioannidis uvádí, je skutečnost, že ačkoli stejné nebo podobné výzkumné otázky často zkoumá více výzkumných týmů, je normou, že vědecká komunita jako celek má tendenci zaměřovat se spíše na jednotlivý objev než na širší důkazy.

Pokračuje výčtem důsledků o pravděpodobnosti, že výzkumné zjištění je skutečně pravdivé:

Důsledek 1: „Čím menší je počet studií provedených v dané vědecké oblasti, tím menší je pravděpodobnost, že výzkumné zjištění je pravdivé“. Odkazuje zde na velikost vzorku. Pravděpodobnost pravdivosti výzkumných zjištění je vyšší u větších studií, jako jsou randomizované kontrolované studie.

Důsledek 2: „Čím menší je velikost účinku ve vědecké oblasti, tím menší je pravděpodobnost, že výzkumná zjištění jsou pravdivá.“ Nezapomeňte také, že velikost efektu souvisí se silou. Příkladem velkého účinku, který je užitečný a pravděpodobně pravdivý, je vliv kouření na rakovinu nebo kardiovaskulární onemocnění. Ten je spolehlivější než malé postulované účinky, jako jsou genetické rizikové faktory na onemocnění. Velmi malá velikost účinku může svědčit o falešně pozitivních tvrzeních.

Důsledek 3: „Čím větší je počet a menší výběr testovaných vztahů ve vědecké oblasti, tím menší je pravděpodobnost, že výsledky výzkumu jsou pravdivé.“ Jestliže pravděpodobnost před výzkumem, že zjištění je pravdivé, ovlivňuje pravděpodobnost po výzkumu, že je pravdivé, vyplývá z toho, že zjištění jsou pravděpodobněji pravdivá v konfirmačním výzkumu než v explorativním výzkumu.

Souvislost 4: „Čím větší je flexibilita návrhů, definic, výsledků a analytických způsobů ve vědecké oblasti, tím menší je pravděpodobnost, že zjištění výzkumu jsou pravdivá“. „Flexibilita“, říká nám Ioannidis, „zvyšuje potenciál pro přeměnu toho, co by bylo ‚negativními‘ výsledky, na ‚pozitivní‘ výsledky“. V rámci boje proti tomu byly vyvinuty snahy o standardizaci provádění výzkumu a podávání zpráv s přesvědčením, že dodržování těchto standardů zvýší pravdivost zjištění. Pravdivá zjištění mohou být také častější, pokud jsou výsledky všeobecně uznávány, zatímco experimentální analytické metody mohou podléhat zkreslení a selektivnímu vykazování výsledků.

Důsledek 5: „Čím větší jsou finanční a jiné zájmy a předsudky ve vědecké oblasti, tím menší je pravděpodobnost, že výsledky výzkumu budou pravdivé.“ Střety zájmů mohou být nedostatečně hlášeny a mohou zvyšovat zkreslení. Předsudky mohou vznikat také v důsledku přesvědčení nebo oddanosti vědce teorii nebo jeho vlastní práci. Některé výzkumy jsou navíc prováděny z vlastního zájmu, aby vědci získali kvalifikaci pro povýšení nebo jmenování do funkce. To vše může zkreslovat výsledky.

Důsledek 6: „Čím žhavější je vědecká oblast (s větším počtem zapojených výzkumníků a týmů), tím menší je pravděpodobnost, že výsledky výzkumu budou pravdivé.“ Když je zapojeno mnoho hráčů, může se stát prioritou předběhnout konkurenci, což může vést k uspěchaným experimentům nebo zaměření na získání efektních a pozitivních výsledků, které jsou lépe publikovatelné než ty negativní. Navíc když se týmy soustředí na publikování „pozitivních“ výsledků, ostatní mohou chtít reagovat hledáním „negativních“ výsledků, aby je vyvrátili. Výsledkem je pak něco, co se nazývá fenomén Proteus, který popisuje rychlé střídání extrémních výzkumných tvrzení a opačných vyvrácení.

Pomocí svého rámce pro stanovení pozitivní prediktivní hodnoty a odpovídajících důsledků Ioannidis dochází k závěru, že „většina výzkumných zjištění je nepravdivá pro většinu výzkumných designů a pro většinu oborů.“

Ačkoli se široký rozsah neobjektivních a nepravdivých výzkumných zjištění může zdát jako krutá realita, situaci lze zlepšit několika způsoby. Zaprvé, studie s vyšším výkonem a rozsáhlejší studie mohou snížit podíl falešných zjištění v literatuře, s výhradou, že takové studie jsou užitečnější, pokud testují otázky, u nichž je pravděpodobnost před zahájením studie vysoká, a pokud se zaměřují spíše na širší koncepty než na konkrétní otázky. Za druhé, spíše než na významná zjištění z jednotlivých studií by měli výzkumní pracovníci klást důraz na souhrn důkazů. Zatřetí, zkreslení lze snížit posílením výzkumných standardů, zejména podporou registrace před zahájením studie. A konečně Ioannidis navrhuje, aby se výzkumníci namísto honby pouze za statistickou významností zaměřili na pochopení šancí před studií.

Jaké jsou vaše reakce po přečtení tohoto článku? Jste překvapeni? Jak, pokud vůbec, to mění vaše vnímání výzkumu obecně? Jak se mohou jednotlivé faktory popsané v důsledcích vzájemně ovlivňovat a prohlubovat zkreslení?“

Přečtěte si celou esej na PLOS.org zde. Tento odkaz najdete také v sekci SEE ALSO na konci této stránky.