Im Jahr 2005 schrieb John Ioannidis, der für seine Forschungen zur Validität von Studien in den Gesundheits- und Medizinwissenschaften bekannt ist, einen Aufsatz mit dem Titel „Why Most Published Research Findings are False“. Der unverblümte Titel und die provokanten und überzeugenden Argumente von Ioannidis haben diesen Aufsatz zu einem der grundlegenden Werke der Literatur in den Bereichen Metawissenschaft und Forschungstransparenz gemacht. Sie werden kaum einen Artikel zu diesen Themen finden – ob in einer Fachzeitschrift oder in den populären Medien -, in dem er nicht erwähnt wird.

In diesem Video stelle ich Ihnen die verschiedenen Arten von Fehlern vor, die in der Forschung auftreten können, ihre Wahrscheinlichkeiten und das Konzept der statistischen Aussagekraft. Außerdem lernen wir etwas über den positiven Vorhersagewert, also die Glaubwürdigkeit der Ergebnisse einer Studie, und darüber, wie sich Verzerrungen auf die Ergebnisse auswirken können. Im letzten Teil des Videos werden sechs Folgerungen dargelegt, die die wissenschaftliche Forschung kennzeichnen, und es wird erläutert, was Wissenschaftler tun können, um die Validität der Forschung zu verbessern. Im Folgenden gehen wir näher auf diese Folgerungen ein.

In dem Artikel legt Ioannidis einen Rahmen fest, um zu zeigen:

• wie hoch die Wahrscheinlichkeit ist, dass Forschungsergebnisse falsch sind,
• wie hoch der Anteil der Ergebnisse in einem bestimmten Forschungsbereich ist, die gültig sind,
• wie verschiedene Voreingenommenheiten die Forschungsergebnisse beeinflussen und
• was getan werden kann, um Fehler und Voreingenommenheit zu verringern.

Ioannidis definiert Voreingenommenheit zunächst als „die Kombination verschiedener Design-, Daten-, Analyse- und Präsentationsfaktoren, die dazu neigen, Forschungsergebnisse zu produzieren, wenn sie nicht produziert werden sollten.“ Er führt weiter aus, dass „Verzerrung eine Manipulation bei der Analyse oder Berichterstattung von Ergebnissen bedeuten kann. Selektive oder verzerrte Berichterstattung ist eine typische Form einer solchen Verzerrung.“

Mit zunehmender Verzerrung sinkt die Wahrscheinlichkeit, dass die Ergebnisse wahr sind. Und die umgekehrte Verzerrung – die Ablehnung wahrer Zusammenhänge aufgrund von Messfehlern, ineffizienter Datennutzung und der Unfähigkeit, statistisch signifikante Zusammenhänge zu erkennen – wird mit dem technologischen Fortschritt immer unwahrscheinlicher.

Ein weiterer wichtiger Punkt, auf den Ioannidis hinweist, ist, dass zwar oft mehrere Forschungsteams dieselben oder ähnliche Forschungsfragen untersuchen, dass aber die wissenschaftliche Gemeinschaft als Ganzes in der Regel dazu neigt, sich auf eine einzelne Entdeckung zu konzentrieren, anstatt sich auf breitere Erkenntnisse zu konzentrieren.

Weiter führt er Korollarien über die Wahrscheinlichkeit auf, dass ein Forschungsergebnis tatsächlich wahr ist:

Korollarie 1: „Je kleiner die in einem wissenschaftlichen Bereich durchgeführten Studien sind, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse wahr sind.“ Er bezieht sich hier auf die Stichprobengröße. Forschungsergebnisse sind wahrscheinlicher bei größeren Studien wie randomisierten kontrollierten Studien.

Korrelativ 2: „Je kleiner die Effektgrößen in einem wissenschaftlichen Bereich sind, desto unwahrscheinlicher sind die Forschungsergebnisse.“ Denken Sie auch daran, dass die Effektgröße mit der Aussagekraft zusammenhängt. Ein Beispiel für einen großen Effekt, der nützlich und wahrscheinlich wahr ist, sind die Auswirkungen des Rauchens auf Krebs oder Herz-Kreislauf-Erkrankungen. Dies ist zuverlässiger als kleine postulierte Effekte wie genetische Risikofaktoren auf Krankheiten. Sehr kleine Effektgrößen können auf falsch-positive Behauptungen hindeuten.

Korrelativ 3: „Je größer die Anzahl und je geringer die Auswahl der getesteten Zusammenhänge in einem wissenschaftlichen Bereich, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse wahr sind.“ Wenn die Wahrscheinlichkeit vor der Studie, dass ein Befund wahr ist, die Wahrscheinlichkeit nach der Studie, dass er wahr ist, beeinflusst, folgt daraus, dass Befunde in der konfirmatorischen Forschung wahrscheinlicher sind als in der exploratorischen Forschung.

Korrelativ 4: „Je größer die Flexibilität in Bezug auf Designs, Definitionen, Ergebnisse und Analysemodi in einem wissenschaftlichen Bereich ist, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse wahr sind.“ „Flexibilität“, so Ioannidis, „erhöht das Potenzial, ’negative‘ Ergebnisse in ‚positive‘ Ergebnisse umzuwandeln“. Um dem entgegenzuwirken, wurden Anstrengungen unternommen, die Forschungsdurchführung und -berichterstattung zu standardisieren, in der Überzeugung, dass die Einhaltung solcher Standards den Wahrheitsgehalt der Ergebnisse erhöhen wird. Wahrheitsgemäße Ergebnisse sind auch häufiger, wenn die Ergebnisse allgemein anerkannt sind, wohingegen experimentelle Analysemethoden der Voreingenommenheit und selektiven Ergebnisberichterstattung unterliegen können.

Korrelativ 5: „Je größer die finanziellen und sonstigen Interessen und Vorurteile in einem wissenschaftlichen Bereich sind, desto unwahrscheinlicher ist es, dass die Forschungsergebnisse wahr sind.“ Interessenkonflikte können unzureichend angegeben werden und die Voreingenommenheit erhöhen. Vorurteile können auch durch die Überzeugung oder das Engagement eines Wissenschaftlers für eine Theorie oder seine eigene Arbeit entstehen. Darüber hinaus werden einige Forschungsarbeiten aus Eigeninteresse durchgeführt, um sich für eine Beförderung oder eine Festanstellung zu qualifizieren. All dies kann die Ergebnisse verzerren.

Korrelativ 6: „Je heißer ein wissenschaftliches Feld ist (mit mehr beteiligten Forschern und Teams), desto unwahrscheinlicher ist es, dass die Forschungsergebnisse zutreffen. „Wenn viele Akteure beteiligt sind, kann es zur Priorität werden, der Konkurrenz voraus zu sein, was zu überstürzten Experimenten oder zur Konzentration auf auffällige und positive Ergebnisse führen kann, die sich besser veröffentlichen lassen als negative. Wenn sich Teams auf die Veröffentlichung „positiver“ Ergebnisse konzentrieren, könnten andere darauf reagieren, indem sie „negative“ Ergebnisse finden, um sie zu widerlegen. Das Ergebnis ist das so genannte Proteus-Phänomen, das den schnellen Wechsel zwischen extremen Forschungsbehauptungen und gegenteiligen Widerlegungen beschreibt.

Unter Verwendung seines Rahmens für die Bestimmung des positiven Vorhersagewerts und der entsprechenden Folgerungen kommt Ioannidis zu dem Schluss, dass „die meisten Forschungsergebnisse für die meisten Forschungsdesigns und für die meisten Bereiche falsch sind“

Das große Ausmaß an voreingenommenen und falschen Forschungsergebnissen mag zwar als harte Realität erscheinen, aber die Situation kann auf verschiedene Weise verbessert werden. Erstens kann der Anteil falscher Ergebnisse in der Literatur durch größere und aussagekräftigere Studien gesenkt werden, wobei derartige Studien hilfreicher sind, wenn sie Fragen testen, für die die Wahrscheinlichkeit vor der Studie hoch ist, und wenn sie sich eher auf breitere Konzepte als auf spezifische Fragen konzentrieren. Zweitens: Statt sich auf signifikante Ergebnisse einzelner Studien zu konzentrieren, sollten die Forscher die Gesamtheit der Belege hervorheben. Drittens kann die Voreingenommenheit durch die Verbesserung von Forschungsstandards verringert werden, insbesondere durch die Förderung der Registrierung von Vorstudien. Schließlich schlägt Ioannidis vor, dass sich die Forscher nicht nur auf die statistische Signifikanz konzentrieren sollten, sondern auch auf das Verständnis der Chancen vor der Studie.

Wie reagieren Sie nach der Lektüre dieses Artikels? Sind Sie überrascht? Wie, wenn überhaupt, verändert dies Ihre Wahrnehmung von Forschung im Allgemeinen? Wie könnten sich die einzelnen Faktoren, die in den Korollarien beschrieben werden, gegenseitig beeinflussen, um die Verzerrung zu verstärken?

Lesen Sie den vollständigen Aufsatz auf PLOS.org hier. Sie finden diesen Link auch in der Rubrik SEE ALSO am Ende dieser Seite.