2005-ben John Ioannidis, aki az egészségügyi és orvosi tudományok területén végzett kutatásairól ismert, “Miért hamis a legtöbb közzétett kutatási eredmény” címmel írt esszét. A nyers cím és Ioannidis provokatív és meggyőző érvei ezt az írást a metatudomány és a kutatások átláthatóságának egyik alapművévé tették. Nehéz lenne olyan – folyóiratban vagy a népszerű médiában megjelent – cikket találni ezekben a témákban, amely ne említené meg.

Ebben a videóban bemutatom a kutatásban előforduló különböző típusú hibákat, azok valószínűségét és a statisztikai erő fogalmát. Emellett megismerkedünk a pozitív prediktív értékkel, vagyis egy vizsgálat eredményeinek hihetőségével, valamint azzal, hogy az elfogultságok hogyan befolyásolhatják az eredményeket. A videó utolsó részében hat következményt ismertetünk, amelyek a tudományos kutatásokat jellemzik, valamint azt, hogy mit tehetnek a tudósok a kutatások érvényességének javítása érdekében. Az alábbiakban részletesebben foglalkozunk ezekkel a mellékkövetkezményekkel.

A cikkben Ioannidis egy keretrendszert határoz meg annak bemutatására:

• a kutatási eredmények téves voltának valószínűségét,
• az adott kutatási területen a megállapítások érvényességének arányát,
• hogy a különböző elfogultságok hogyan befolyásolják a kutatás eredményeit, és
• mit lehet tenni a hibák és az elfogultságok csökkentése érdekében.

Ioannidis először is úgy definiálja az elfogultságot, mint “a különböző tervezési, adat-, elemzési és prezentációs tényezők olyan kombinációját, amelyek hajlamosak olyan kutatási eredményeket produkálni, amelyeknek nem kellene produkálniuk”. A továbbiakban azt mondja, hogy “az elfogultság manipulációt vonhat maga után az eredmények elemzése vagy közlése során. A szelektív vagy torzított jelentés az ilyen torzítás egyik tipikus formája.”

Az elfogultság növekedésével csökken annak az esélye, hogy a megállapítások igazak. És a fordított torzítás – a valódi összefüggések elutasítása a mérési hiba, az adatok nem hatékony felhasználása és a statisztikailag szignifikáns összefüggések fel nem ismerése miatt – a technológia fejlődésével egyre kevésbé valószínű.

A másik fontos szempont, amit Ioannidis kiemel, hogy bár gyakran több kutatócsoport vizsgálja ugyanazokat vagy hasonló kutatási kérdéseket, az a norma, hogy a tudományos közösség egésze hajlamos egy-egy egyedi felfedezésre összpontosítani, nem pedig a szélesebb körű bizonyítékokra.

A továbbiakban korolláriumokat sorol fel azzal kapcsolatban, hogy mekkora a valószínűsége annak, hogy egy kutatási eredmény valóban igaz:

1. korollárium: “Minél kevesebb tanulmányt végeznek egy tudományterületen, annál kisebb a valószínűsége annak, hogy a kutatási eredmények igazak”. Itt a mintaméretre utal. Nagyobb valószínűséggel igazak a kutatási eredmények nagyobb vizsgálatok, például randomizált, kontrollált vizsgálatok esetén.”

2. tétel: “Minél kisebbek a hatásméretek egy tudományos területen, annál kisebb valószínűséggel igazak a kutatási eredmények”. Ne feledjük azt sem, hogy a hatásméret összefügg a hatalommal. Egy példa a nagy hatásra, amely hasznos és valószínűleg igaz, a dohányzás hatása a rákra vagy a szív- és érrendszeri betegségekre. Ez megbízhatóbb, mint a kis posztulált hatások, például a betegségekre gyakorolt genetikai kockázati tényezők. A nagyon kis hatásméretek hamis pozitív állításokat jelezhetnek.”

3. tétel: “Minél nagyobb a vizsgált összefüggések száma és minél kisebb a választék egy tudományterületen, annál kevésbé valószínű, hogy a kutatási eredmények igazak”. Ha a vizsgálat előtti valószínűség, hogy egy megállapítás igaz, befolyásolja a vizsgálat utáni valószínűséget, hogy igaz, akkor ebből az következik, hogy a megállapítások nagyobb valószínűséggel igazak a megerősítő kutatásokban, mint a feltáró kutatásokban.

4. következtetés: “Minél nagyobb a rugalmasság a tervekben, definíciókban, eredményekben és elemzési módokban egy tudományos területen, annál kisebb valószínűséggel igazak a kutatási megállapítások”. “A rugalmasság” – mondja Ioannidis – “növeli annak lehetőségét, hogy a “negatív” eredmények “pozitív” eredményekké alakuljanak át”. Ennek leküzdése érdekében erőfeszítéseket tettek a kutatásvezetés és a jelentéstétel szabványosítására, abban a hitben, hogy az ilyen szabványokhoz való ragaszkodás növelni fogja a valós eredményeket. Az igaz eredmények akkor is gyakoribbak lehetnek, ha az eredményeket általánosan elfogadják, míg a kísérleti elemzési módszerekben előfordulhat elfogultság és szelektív eredményközlés.”

5. tétel: “Minél nagyobbak a pénzügyi és egyéb érdekek és előítéletek egy tudományos területen, annál kevésbé valószínű, hogy a kutatási eredmények igazak lesznek”. Az összeférhetetlenségeket nem megfelelően jelenthetik, és ez növelheti az elfogultságot. Az előítéletesség a tudósnak egy elmélet vagy saját munkája melletti meggyőződése vagy elkötelezettsége miatt is kialakulhat. Emellett egyes kutatásokat önérdekből végeznek, hogy a kutatóknak előléptetésre vagy kinevezésre jogosító képesítéseket adjanak. Ezek mind torzíthatják az eredményeket.

6. tétel: “Minél forróbb egy tudományos terület (minél több kutató és csapat vesz részt benne), annál kevésbé valószínű, hogy a kutatási eredmények igazak.” Amikor sok szereplő vesz részt, a verseny megelőzése válhat prioritássá, ami elsietett kísérletekhez vagy a feltűnő és pozitív eredmények elérésére való összpontosításhoz vezethet, amelyek jobban publikálhatók, mint a negatívak. Ráadásul amikor a csapatok a “pozitív” eredmények közzétételére összpontosítanak, mások esetleg “negatív” eredményekkel akarnak válaszolni, hogy megcáfolják azokat. Az eredmény az úgynevezett Proteus jelenség, amely a szélsőséges kutatási állítások és az ellentétes cáfolatok gyors váltakozását írja le.

A pozitív prediktív érték meghatározására szolgáló keretrendszerét és a megfelelő következményeket felhasználva Ioannidis arra a következtetésre jut, hogy “a legtöbb kutatási eredmény hamis a legtöbb kutatási terv és a legtöbb terület esetében.”

Bár az elfogult és hamis kutatási eredmények széles körű elterjedtsége kemény valóságnak tűnhet, a helyzet néhány módon javítható. Először is, a nagyobb teljesítményű és nagyobb tanulmányok csökkenthetik a hamis eredmények arányát a szakirodalomban, azzal a fenntartással, hogy az ilyen tanulmányok hasznosabbak, ha olyan kérdéseket tesztelnek, amelyek esetében a vizsgálat előtti valószínűség magas, és ha inkább tágabb fogalmakra, mint konkrét kérdésekre összpontosítanak. Másodszor, ahelyett, hogy az egyes tanulmányok jelentős megállapításaira összpontosítanának, a kutatóknak a bizonyítékok összességét kell hangsúlyozniuk. Harmadszor, a torzítás csökkenthető a kutatási normák javításával, különösen a tanulmányok előtti regisztráció ösztönzésével. Végül Ioannidis azt javasolja, hogy ahelyett, hogy csak a statisztikai szignifikanciát hajszolnák, a kutatóknak a vizsgálat előtti esélyek megértésére kellene összpontosítaniuk.

Az olvasás után mik a reakciói? Meglepődött? Hogyan változtatja meg ez, ha egyáltalán megváltoztatja a kutatással kapcsolatos általános megítélését? Hogyan befolyásolhatják egymást a következményeiben leírt egyes tényezők, hogy fokozzák a torzítást?

A teljes esszét a PLOS.org-on itt olvashatja el. A linket az oldal alján található SEE ALSO szekcióban is megtalálod.