En 2005, John Ioannidis, bien connu pour ses recherches sur la validité des études dans le domaine de la santé et des sciences médicales, a écrit un essai intitulé « Pourquoi la plupart des résultats de recherche publiés sont faux ». Le titre brutal et les arguments provocateurs et convaincants de Ioannidis ont fait de cet article l’une des pièces maîtresses de la littérature dans les domaines de la méta-science et de la transparence de la recherche. Vous auriez du mal à trouver un article sur ces sujets – publié dans une revue ou dans les médias populaires – qui ne le mentionne pas.

Dans cette vidéo, je vous présente les différents types d’erreurs qui peuvent survenir dans la recherche, leurs probabilités et le concept de puissance statistique. Nous apprendrons également la valeur prédictive positive, ou la crédibilité des résultats d’une étude, ainsi que la façon dont les biais peuvent avoir un impact sur les résultats. La dernière partie de la vidéo présente six corollaires qui caractérisent la recherche scientifique et ce que les scientifiques peuvent faire pour améliorer la validité de la recherche. Nous approfondissons ces corollaires ci-dessous.

Dans l’article, Ioannidis établit un cadre pour démontrer :

• la probabilité que les résultats de la recherche soient faux,
• la proportion de résultats dans un domaine de recherche donné qui sont valides,
• comment différents biais affectent les résultats de la recherche, et
• ce qui peut être fait pour réduire les erreurs et les biais.

Ioannidis définit d’abord le biais comme « la combinaison de divers facteurs de conception, de données, d’analyse et de présentation qui tendent à produire des résultats de recherche alors qu’ils ne devraient pas l’être. » Il poursuit en disant que « le biais peut impliquer une manipulation dans l’analyse ou la présentation des résultats. Le rapport sélectif ou déformé est une forme typique de ce type de biais ».

Avec l’augmentation du biais, les chances que les conclusions soient vraies diminuent. Et le biais inverse – le rejet des relations vraies en raison d’une erreur de mesure, de l’utilisation inefficace des données et de l’incapacité à reconnaître les relations statistiquement significatives – devient moins probable à mesure que la technologie progresse.

Un autre point important que Ioannidis souligne est que, bien que de multiples équipes de recherche étudient souvent les mêmes questions de recherche ou des questions similaires, la norme veut que la communauté scientifique dans son ensemble ait tendance à se concentrer sur une découverte individuelle, plutôt que sur des preuves plus larges.

Il poursuit en énumérant des corollaires sur la probabilité qu’un résultat de recherche soit effectivement vrai :

Corollaire 1 : « Plus les études menées dans un domaine scientifique sont petites, moins les résultats de la recherche ont de chances d’être vrais. » Il fait ici référence à la taille de l’échantillon. Les conclusions de la recherche sont plus susceptibles d’être vraies avec des études plus importantes, comme les essais contrôlés randomisés.

Corollaire 2 : « Plus les tailles d’effet sont petites dans un domaine scientifique, moins les conclusions de la recherche sont susceptibles d’être vraies. » N’oubliez pas non plus que la taille de l’effet est liée à la puissance. Un exemple d’effet important, utile et probablement vrai, est l’impact du tabagisme sur le cancer ou les maladies cardiovasculaires. Cet effet est plus fiable que les petits effets postulés comme les facteurs de risque génétiques sur les maladies. De très petites tailles d’effet peuvent être indicatrices de faux positifs.

Corollaire 3 : « Plus le nombre et la sélection des relations testées dans un domaine scientifique sont importants, moins les résultats de la recherche sont susceptibles d’être vrais. » Si la probabilité avant l’étude qu’une constatation soit vraie influence la probabilité après l’étude qu’elle soit vraie, il s’ensuit que les constatations sont plus susceptibles d’être vraies dans la recherche confirmatoire que dans la recherche exploratoire.

Corollaire 4 : « Plus la flexibilité des conceptions, des définitions, des résultats et des modes d’analyse est grande dans un domaine scientifique, moins les constatations de la recherche sont susceptibles d’être vraies. » « La flexibilité », nous dit Ioannidis, « augmente le potentiel de transformation de ce qui serait des résultats « négatifs » en résultats « positifs » ». Pour lutter contre ce phénomène, des efforts ont été déployés pour normaliser la conduite de la recherche et l’établissement des rapports, avec la conviction que le respect de ces normes augmentera les résultats véridiques. Les résultats véridiques peuvent également être plus fréquents lorsque les résultats sont universellement reconnus, alors que les méthodes d’analyse expérimentales peuvent être sujettes à des biais et à des rapports de résultats sélectifs.

Corollaire 5 : « Plus les intérêts financiers et autres et les préjugés sont importants dans un domaine scientifique, moins les résultats de la recherche sont susceptibles d’être véridiques. » Les conflits d’intérêts peuvent être insuffisamment signalés et accroître les préjugés. Les préjugés peuvent également découler de la croyance ou de l’engagement d’un scientifique envers une théorie ou ses propres travaux. En outre, certaines recherches sont menées par intérêt personnel pour donner aux chercheurs des qualifications pour la promotion ou la titularisation. Tous ces éléments peuvent fausser les résultats.

Corollaire 6 : « Plus un domaine scientifique est brûlant (avec un grand nombre de chercheurs et d’équipes impliqués), moins les résultats de la recherche sont susceptibles d’être vrais. « Lorsqu’il y a beaucoup d’acteurs impliqués, prendre de l’avance sur la concurrence peut devenir la priorité, ce qui peut conduire à des expériences bâclées ou à une concentration sur l’obtention de résultats flashy et positifs qui sont plus publiables que les résultats négatifs. De plus, lorsque les équipes se concentrent sur la publication de résultats « positifs », d’autres peuvent vouloir répondre en trouvant des résultats « négatifs » pour les réfuter. Ce qui en résulte alors, c’est ce qu’on appelle le phénomène Proteus, qui décrit une alternance rapide d’affirmations de recherche extrêmes et de réfutations opposées.

En utilisant son cadre pour déterminer la valeur prédictive positive et les corollaires correspondants, Ioannidis conclut que « la plupart des résultats de recherche sont faux pour la plupart des conceptions de recherche et pour la plupart des domaines. »

Bien que la grande étendue des résultats de recherche biaisés et faux puisse sembler une dure réalité, la situation peut être améliorée de quelques façons. Premièrement, des études plus puissantes et de plus grande envergure peuvent réduire la proportion de faux résultats dans une littérature, avec les mises en garde suivantes : ces études sont plus utiles lorsqu’elles testent des questions pour lesquelles la probabilité avant étude est élevée et lorsqu’elles se concentrent sur des concepts plus larges plutôt que sur des questions spécifiques. Deuxièmement, plutôt que de se concentrer sur les résultats significatifs d’études individuelles, les chercheurs devraient mettre l’accent sur la totalité des preuves. Troisièmement, le biais peut être réduit en améliorant les normes de recherche, notamment en encourageant l’enregistrement préalable des études. Enfin, Ioannidis suggère qu’au lieu de seulement courir après la signification statistique, les chercheurs devraient se concentrer sur la compréhension des probabilités avant étude.

Après avoir lu ceci, quelles sont vos réactions ? Êtes-vous surpris ? En quoi, le cas échéant, cela change-t-il votre perception de la recherche en général ? Comment les facteurs individuels décrits dans les corollaires pourraient-ils s’influencer mutuellement pour exacerber les biais ?

Lisez l’essai complet sur PLOS.org ici. Vous pouvez également trouver ce lien dans la section VOIR AUSSI au bas de cette page.