Nel 2005, John Ioannidis, ben noto per le sue ricerche sulla validità degli studi nelle scienze mediche e sanitarie, ha scritto un saggio intitolato “Perché la maggior parte dei risultati delle ricerche pubblicate sono falsi.” Il titolo schietto e gli argomenti provocatori e convincenti di Ioannidis hanno reso questo documento uno dei pezzi fondamentali della letteratura nelle aree della metascienza e della trasparenza della ricerca. È difficile trovare un articolo su questi argomenti – pubblicato in una rivista o nei media popolari – che non lo menzioni.

In questo video, vi presento i diversi tipi di errori che possono verificarsi nella ricerca, le loro probabilità e il concetto di potenza statistica. Impareremo anche il valore predittivo positivo, o la credibilità dei risultati di uno studio, e come i pregiudizi possono influenzare i risultati. L’ultima parte del video espone sei corollari che caratterizzano la ricerca scientifica e ciò che gli scienziati possono fare per migliorare la validità della ricerca. Approfondiamo questi corollari qui sotto.

Nell’articolo, Ioannidis delinea un quadro per dimostrare:

• la probabilità che i risultati della ricerca siano falsi,
• la proporzione di risultati in un dato campo di ricerca che sono validi,
• come diversi pregiudizi influenzano i risultati della ricerca, e
• cosa può essere fatto per ridurre gli errori e i pregiudizi.

Ioannidis definisce innanzitutto il bias come “la combinazione di vari fattori di progettazione, dati, analisi e presentazione che tendono a produrre risultati di ricerca quando non dovrebbero essere prodotti”. Continua dicendo che “il bias può comportare una manipolazione nell’analisi o nella presentazione dei risultati. Il reporting selettivo o distorto è una forma tipica di tale bias”.

Con l’aumento del bias, le possibilità che i risultati siano veri diminuiscono. E il bias inverso – il rifiuto di relazioni vere a causa di errori di misurazione, l’uso inefficiente dei dati e il mancato riconoscimento di relazioni statisticamente significative – diventa meno probabile con l’avanzare della tecnologia.

Un altro punto importante che Ioannidis fa è che, mentre più team di ricerca spesso studiano le stesse o simili domande di ricerca, è la norma che la comunità scientifica nel suo complesso tende a concentrarsi su una scoperta individuale, piuttosto che su prove più ampie.

Prosegue elencando i corollari sulla probabilità che una scoperta della ricerca sia effettivamente vera:

Corollario 1: “Più piccoli sono gli studi condotti in un campo scientifico, meno probabile è che i risultati della ricerca siano veri”. Si riferisce qui alla dimensione del campione. I risultati della ricerca hanno più probabilità di essere veri con studi più grandi come gli studi controllati randomizzati.

Corollario 2: “Più piccole sono le dimensioni dell’effetto in un campo scientifico, meno probabile è che i risultati della ricerca siano veri”. Ricordate anche che la dimensione dell’effetto è legata alla potenza. Un esempio di un grande effetto che è utile e probabilmente vero è l’impatto del fumo sul cancro o sulle malattie cardiovascolari. Questo è più affidabile di piccoli effetti postulati come i fattori di rischio genetici sulla malattia. Dimensioni degli effetti molto piccole possono essere indicative di false affermazioni positive.

Corollario 3: “Maggiore è il numero e minore è la selezione delle relazioni testate in un campo scientifico, minore è la probabilità che i risultati della ricerca siano veri.” Se la probabilità pre-studio che una scoperta sia vera influenza la probabilità post-studio che sia vera, ne consegue che le scoperte hanno più probabilità di essere vere nella ricerca confermativa che nella ricerca esplorativa.

Corollario 4: “Maggiore è la flessibilità nei disegni, nelle definizioni, nei risultati e nelle modalità di analisi in un campo scientifico, minore è la probabilità che i risultati della ricerca siano veri.” “La flessibilità”, ci dice Ioannidis, “aumenta il potenziale di trasformazione di quelli che sarebbero risultati ‘negativi’ in risultati ‘positivi'”. Per combattere questo, sono stati fatti degli sforzi per standardizzare la condotta della ricerca e il reporting con la convinzione che l’aderenza a tali standard aumenterà i risultati veri. I risultati veri possono anche essere più comuni quando i risultati sono universalmente concordati, mentre i metodi di analisi sperimentale possono essere soggetti a distorsioni e alla segnalazione selettiva dei risultati.

Corollario 5: “Più grandi sono gli interessi finanziari e di altro tipo e i pregiudizi in un campo scientifico, meno è probabile che i risultati della ricerca siano veri”. I conflitti di interesse possono essere segnalati in modo inadeguato e possono aumentare i pregiudizi. Il pregiudizio può anche sorgere a causa della convinzione o dell’impegno di uno scienziato verso una teoria o il proprio lavoro. Inoltre, alcune ricerche sono condotte per interesse personale per dare ai ricercatori le qualifiche per la promozione o la cattedra. Tutto ciò può distorcere i risultati.

Corollario 6: “Più è caldo un campo scientifico (con più ricercatori e team coinvolti), meno è probabile che i risultati della ricerca siano veri. “Quando ci sono molti giocatori coinvolti, anticipare la concorrenza può diventare la priorità, il che può portare a esperimenti affrettati o un focus sull’ottenere risultati vistosi e positivi che sono più pubblicabili di quelli negativi. Inoltre, quando le squadre si concentrano sulla pubblicazione di risultati “positivi”, gli altri possono voler rispondere trovando risultati “negativi” per confutarli. Il risultato è qualcosa chiamato fenomeno Proteus, che descrive la rapida alternanza di affermazioni di ricerca estreme e confutazioni opposte.

Utilizzando il suo quadro per determinare il Valore Predittivo Positivo e i corollari corrispondenti, Ioannidis conclude che “la maggior parte dei risultati della ricerca sono falsi per la maggior parte dei disegni di ricerca e per la maggior parte dei campi.”

Mentre la vasta estensione dei risultati di ricerca distorti e falsi può sembrare una dura realtà, la situazione può essere migliorata in alcuni modi. In primo luogo, studi più grandi e di maggiore potenza possono abbassare la proporzione di falsi risultati in una letteratura, con l’avvertenza che tali studi sono più utili quando testano domande per le quali la probabilità di pre-studio è alta e quando si concentrano su concetti più ampi piuttosto che su domande specifiche. In secondo luogo, piuttosto che concentrarsi sui risultati significativi dei singoli studi, i ricercatori dovrebbero enfatizzare la totalità delle prove. In terzo luogo, i bias possono essere ridotti migliorando gli standard di ricerca, specialmente incoraggiando la registrazione pre-studio. Infine, Ioannidis suggerisce che, invece di inseguire solo la significatività statistica, i ricercatori dovrebbero concentrarsi sulla comprensione delle probabilità pre-studio.

Dopo aver letto questo, quali sono le vostre reazioni? Siete sorpresi? In che modo, se mai, questo cambia la vostra percezione della ricerca in generale? Come potrebbero i singoli fattori descritti nei corollari influenzarsi a vicenda per esacerbare i bias?

Leggi il saggio completo su PLOS.org qui. Puoi anche trovare questo link nella sezione VEDI ANCHE in fondo a questa pagina.