În 2005, John Ioannidis, bine cunoscut pentru cercetările sale privind validitatea studiilor din domeniul sănătății și al științelor medicale, a scris un eseu intitulat „De ce sunt false cele mai multe rezultate de cercetare publicate”. Titlul tranșant și argumentele provocatoare și convingătoare ale lui Ioannidis au făcut ca acest articol să devină unul dintre textele fundamentale din literatura de specialitate în domeniile metaștiinței și transparenței cercetării. Ar fi greu să găsiți un articol pe aceste teme – publicat într-o revistă sau în presa populară – care să nu-l menționeze.

În acest videoclip, vă prezint diferitele tipuri de erori care pot apărea în cercetare, probabilitățile lor și conceptul de putere statistică. Vom învăța, de asemenea, despre Valoarea predictivă pozitivă sau credibilitatea rezultatelor unui studiu, precum și despre modul în care prejudecățile pot afecta rezultatele. Ultima parte a videoclipului prezintă șase corolare care caracterizează cercetarea științifică și ce pot face oamenii de știință pentru a îmbunătăți validitatea cercetării. Vom aprofunda aceste corolare mai jos.

În articol, Ioannidis prezintă un cadru pentru a demonstra:

• probabilitatea ca rezultatele cercetării să fie false,
• procentul de rezultate într-un anumit domeniu de cercetare care sunt valide,
• modul în care diferite prejudecăți afectează rezultatele cercetării și
• ce se poate face pentru a reduce erorile și prejudecățile.

Ioannidis definește mai întâi părtinirea ca fiind „combinația de diverși factori de proiectare, date, analiză și prezentare care tind să producă rezultate de cercetare atunci când acestea nu ar trebui să fie produse”. El continuă spunând că „părtinirea poate implica o manipulare în analiza sau raportarea rezultatelor. Raportarea selectivă sau distorsionată este o formă tipică a unei astfel de prejudecăți”.

Cu creșterea prejudecății, șansele ca rezultatele să fie adevărate scad. Iar părtinirea inversă – respingerea relațiilor adevărate din cauza erorilor de măsurare, a utilizării ineficiente a datelor și a nerecunoașterii relațiilor semnificative din punct de vedere statistic – devine mai puțin probabilă pe măsură ce tehnologia avansează.

O altă observație importantă pe care o face Ioannidis este că, deși mai multe echipe de cercetare studiază adesea aceleași întrebări de cercetare sau întrebări similare, norma este că comunitatea științifică în ansamblu tinde să se concentreze pe o descoperire individuală, mai degrabă decât pe dovezi mai ample.

În continuare, el enumeră corolarii cu privire la probabilitatea ca o descoperire din cercetare să fie într-adevăr adevărată:

Corolarul 1: „Cu cât sunt mai puține studii efectuate într-un domeniu științific, cu atât este mai puțin probabil ca descoperirile din cercetare să fie adevărate.” Se referă aici la mărimea eșantionului. Constatările cercetărilor au mai multe șanse de a fi adevărate în cazul unor studii mai mari, cum ar fi studiile controlate randomizate.

Corolarul 2: „Cu cât sunt mai mici dimensiunile efectului într-un domeniu științific, cu atât este mai puțin probabil ca constatările cercetării să fie adevărate”. Rețineți, de asemenea, că mărimea efectului este legată de putere. Un exemplu de efect mare care este util și probabil adevărat este impactul fumatului asupra cancerului sau a bolilor cardiovasculare. Acesta este mai fiabil decât efectele mici postulate, cum ar fi factorii de risc genetic asupra bolii. Mărimile foarte mici ale efectului pot indica afirmații fals pozitive.

Corolarul 3: „Cu cât este mai mare numărul și cu cât este mai mică selecția de relații testate într-un domeniu științific, cu atât este mai puțin probabil ca rezultatele cercetării să fie adevărate.” Dacă probabilitatea de dinaintea studiului ca o constatare să fie adevărată influențează probabilitatea de după studiu ca aceasta să fie adevărată, rezultă că este mai probabil ca constatările să fie adevărate în cercetarea de confirmare decât în cercetarea exploratorie.

Corolarul 4: „Cu cât este mai mare flexibilitatea în ceea ce privește modelele, definițiile, rezultatele și modurile de analiză într-un domeniu științific, cu atât este mai puțin probabil ca constatările cercetării să fie adevărate.” „Flexibilitatea”, ne spune Ioannidis, „crește potențialul de a transforma ceea ce ar fi rezultate „negative” în rezultate „pozitive””. Pentru a combate acest lucru, s-au depus eforturi pentru a standardiza desfășurarea și raportarea cercetărilor, cu convingerea că aderarea la astfel de standarde va spori rezultatele adevărate. Constatările adevărate pot fi, de asemenea, mai frecvente atunci când rezultatele sunt unanim acceptate, în timp ce metodele analitice experimentale pot fi supuse prejudecăților și raportării selective a rezultatelor.

Corolarul 5: „Cu cât sunt mai mari interesele și prejudecățile financiare și de altă natură într-un domeniu științific, cu atât este mai puțin probabil ca rezultatele cercetării să fie adevărate”. Conflictele de interese pot fi raportate în mod inadecvat și pot crește părtinirea. Prejudecățile pot apărea, de asemenea, din cauza credinței sau a angajamentului unui om de știință față de o teorie sau față de propria sa lucrare. În plus, unele cercetări sunt efectuate din interes personal pentru a le oferi cercetătorilor calificări pentru promovare sau titularizare. Toate acestea pot denatura rezultatele.

Corolarul 6: „Cu cât un domeniu științific este mai fierbinte (cu mai mulți cercetători și echipe implicate), cu atât este mai puțin probabil ca rezultatele cercetării să fie adevărate.” Atunci când sunt mulți jucători implicați, obținerea unui avans față de competiție poate deveni prioritară, ceea ce poate duce la experimente grăbite sau la o concentrare pe obținerea unor rezultate ostentative și pozitive care sunt mai ușor de publicat decât cele negative. În plus, atunci când echipele se concentrează pe publicarea rezultatelor „pozitive”, este posibil ca alții să dorească să răspundă prin găsirea unor rezultate „negative” pentru a le infirma. Ceea ce rezultă atunci este ceea ce se numește fenomenul Proteus, care descrie alternanța rapidă a afirmațiilor extreme de cercetare și a infirmărilor opuse.

Utilizând cadrul său pentru determinarea Valorii Predictive Pozitive și corolarii corespunzători, Ioannidis concluzionează că „majoritatea rezultatelor cercetării sunt false pentru majoritatea modelelor de cercetare și pentru majoritatea domeniilor.”

În timp ce amploarea largă a rezultatelor de cercetare tendențioase și false poate părea o realitate dură, situația poate fi îmbunătățită în câteva moduri. În primul rând, studiile cu putere mai mare și de dimensiuni mai mari pot reduce proporția de constatări false într-o literatură, cu mențiunea că astfel de studii sunt mai utile atunci când testează întrebări pentru care probabilitatea pre-studiu este ridicată și când se concentrează pe concepte mai largi, mai degrabă decât pe întrebări specifice. În al doilea rând, mai degrabă decât să se concentreze pe constatările semnificative din studii individuale, cercetătorii ar trebui să pună accentul pe totalitatea dovezilor. În al treilea rând, părtinirea poate fi redusă prin îmbunătățirea standardelor de cercetare, în special prin încurajarea înregistrării înainte de studiu. În cele din urmă, Ioannidis sugerează că, în loc să urmărească doar semnificația statistică, cercetătorii ar trebui să se concentreze pe înțelegerea șanselor pre-studiu.

După ce ați citit acest articol, care sunt reacțiile dumneavoastră? Sunteți surprins? Cum, dacă este cazul, vă schimbă aceasta percepția despre cercetare în general? Cum s-ar putea ca factorii individuali descriși în corolare să se influențeze reciproc pentru a exacerba părtinirea?

Citiți eseul complet pe PLOS.org aici. De asemenea, puteți găsi acest link în secțiunea SEE ALSO din partea de jos a acestei pagini.

.