2005 年、健康・医療科学における研究の妥当性に関する研究で知られる John Ioannidis は、「Why Most Published Research Findings are False」と題した小論を書きました。 その率直なタイトルとイオアニディスの挑発的で説得力のある議論により、この論文はメタサイエンスと研究の透明性の分野における基礎文献のひとつとなった。 7079>

このビデオでは、研究において起こりうるさまざまな種類のエラー、その確率、そして統計的検出力の概念について紹介します。 また、Positive Predictive Value（研究結果の信憑性）や、バイアスがどのように結果に影響を与えるかについても学びます。 ビデオの最後では、科学研究を特徴づける6つの傍証と、研究の妥当性を高めるために科学者ができることを説明します。 7079>

論文の中で、Ioannidis は、

• 研究結果が誤りである確率、
• 与えられた研究分野での研究結果が有効である割合、
• 異なる偏見が研究結果に与える影響、および
• エラーと偏りを減らすために何ができるかを示すフレームワークを提唱しています。

イオアニディスはまず、バイアスを「本来出るはずのない研究結果を出してしまいがちな、さまざまなデザイン、データ、分析、プレゼンテーション要因の組み合わせ」と定義しています。 さらに彼は、「バイアスは、知見の分析や報告における操作を伴うことがある」と述べています。 7079>

バイアスが大きくなると、研究結果が真実である可能性は低くなります。 また、測定エラー、データの非効率的な使用、統計的に有意な関係を認識できないことによる真の関係の否定という逆バイアスは、技術が進歩するにつれて可能性が低くなります」

イオアニディスのもうひとつの重要な指摘は、複数の研究チームが同じまたは類似の研究課題を研究することが多い一方で、科学界全体としては、より広い証拠よりも個々の発見に焦点を当てる傾向があることが普通である。

彼はさらに、研究結果が本当に真実である確率について、次のような結論を挙げています。

Corollary 1: “科学分野で行われた研究の数が少ないほど、研究結果が真実である確率は低くなる”。 ここではサンプルの大きさを指している。 研究結果は、ランダム化比較試験のような大規模な研究によって真実になる可能性が高くなります。

補足2：”科学的分野での効果サイズが小さいほど、研究結果が真実になる可能性は低くなる”。 また、効果の大きさは検出力に関係することも覚えておいてください。 有用で真実である可能性が高い大きな効果の例として、喫煙が癌や心血管疾患に与える影響が挙げられます。 これは、病気に対する遺伝的危険因子のような小さな仮定された効果よりも信頼性が高いです。 効果量が非常に小さいと、偽陽性の主張を示すことがあります。

補足3：”科学分野において、検証された関係の数が多く、選択が少ないほど、研究結果が真実である可能性は低くなる”。 ある知見が真である研究前の確率が、真である研究後の確率に影響するならば、探索的研究よりも確証的研究において知見が真である可能性が高いということになる。

Corollary 4:「科学分野において、デザイン、定義、結果、分析方法の柔軟性が高いほど、研究知見が真である可能性は低くなる」(Corollary 6) “柔軟性 “は、「『否定的』な結果を『肯定的』な結果に変える可能性を高める」とイオアニディスは説いている。 これに対抗するため、研究の実施と報告を標準化する努力がなされており、そのような標準を遵守することが真の発見を増やすと信じられている。 また、結果が普遍的に合意されている場合には、真の知見がより多く得られるかもしれない。一方、実験的分析法は、偏りや選択的な結果報告の可能性がある。

Corollary 5: “科学分野での金銭やその他の利益や偏見が大きいと、研究結果が真である可能性は低くなる”. 利益相反は報告が不十分であり，偏りを増大させる可能性がある。 また、科学者の理論や自身の研究に対する信念やこだわりによって偏見が生じることもある。 さらに、研究者が昇進や終身在職のための資格を得るために、私利私欲から研究が行われることもあります。 7079>

Corollary 6: 「（より多くの研究者やチームが関与する）熱い科学分野ほど、研究結果が真実である可能性は低くなる」多くの人が関わっていると、競争に勝つことが優先され、実験を急いだり、ネガティブな結果よりも派手でポジティブな結果を得ることに集中する可能性がある。 さらに、チームが「ポジティブ」な結果を発表することに集中すると、他のチームはそれを否定するために「ネガティブ」な結果を見つけることで対抗しようとするかもしれません。 その結果、極端な研究主張と正反対の反論が急速に交互に現れる、プロテウス現象と呼ばれるものが発生します。

ポジティブ予測値を決定するための彼のフレームワークと対応するコロラリーを使用して、Ioannidisは「ほとんどの研究デザイン、ほとんどの分野で、ほとんどの研究結果は間違っている」と結論付けています。 ただし、そのような研究は、研究前の確率が高い問題をテストする場合や、特定の問題ではなくより広い概念に焦点を当てる場合に、より有用となる。 第二に、研究者は個々の研究から得られた重要な知見に注目するのではなく、証拠の全体性を強調すべきである。 第三に、研究基準を強化すること、特に研究前の登録を奨励することで、バイアスを減らすことができる。 最後にIoannidisは、統計的有意性だけを追い求めるのではなく、研究者は研究前のオッズを理解することに焦点を当てるべきであると提案している。 驚きましたか？ 研究全般に対するあなたの認識はどう変わりましたか？ また、補足で述べた個々の要因がどのように影響しあい、バイアスを悪化させる可能性があるでしょうか。 また、このページ下部の「その他」セクションにもリンクがあります。