W 2005 roku John Ioannidis, dobrze znany ze swoich badań nad wiarygodnością badań w dziedzinie zdrowia i nauk medycznych, napisał esej zatytułowany „Dlaczego większość opublikowanych wyników badań naukowych jest fałszywa”. Dosadny tytuł oraz prowokacyjne i przekonujące argumenty Ioannidisa sprawiły, że artykuł ten stał się jednym z fundamentalnych dzieł literatury w dziedzinie metanauki i przejrzystości badań. Trudno byłoby znaleźć artykuł na ten temat – opublikowany w czasopiśmie lub w popularnych mediach – który by o nim nie wspominał.

W tym filmie przedstawiam różne rodzaje błędów, które mogą wystąpić w badaniach, ich prawdopodobieństwo oraz pojęcie mocy statystycznej. Dowiemy się również o pozytywnej wartości predykcyjnej, czyli wiarygodności wyników badań, a także o tym, jak uprzedzenia mogą wpływać na wyniki. W ostatniej części filmu przedstawiamy sześć prawidłowości charakteryzujących badania naukowe oraz co naukowcy mogą zrobić, aby poprawić ich wiarygodność. W artykule Ioannidis przedstawia ramy dla wykazania:

• prawdopodobieństwa, że wyniki badań są fałszywe,
• proporcji wyników w danym obszarze badań, które są ważne,
• jak różne uprzedzenia wpływają na wyniki badań i
• co można zrobić, aby zmniejszyć błąd i uprzedzenia.

Ioannidis najpierw definiuje stronniczość jako „kombinację różnych projektów, danych, analizy i czynników prezentacji, które mają tendencję do produkcji wyników badań, gdy nie powinny być produkowane.” On idzie dalej, aby powiedzieć, że „stronniczość może pociągać za sobą manipulację w analizie lub raportowania wyników. Selektywne lub zniekształcone raportowanie jest typową formą takiej bias”.

Z rosnącym uprzedzeniem, szanse, że ustalenia są prawdziwe maleje. I odwrotna stronniczość – odrzucenie prawdziwych związków z powodu błędu pomiaru, nieefektywne wykorzystanie danych i brak rozpoznania statystycznie istotnych związków – staje się mniej prawdopodobne, jak technologia postępuje.

Innym ważnym punktem Ioannidis jest to, że podczas gdy wiele zespołów badawczych często badają te same lub podobne pytania badawcze, to jest normą, że społeczność naukowa jako całość ma tendencję do skupiania się na indywidualnym odkryciu, a nie na szerszym dowodzie.

He goes on to list corollaries about the probability that a research finding is indeed true:

Corollary 1: „The smaller the studies conducted in a scientific field, the less likely the research findings are to be true.” On odnosi się tutaj do wielkości próbki. Wyniki badań są bardziej prawdopodobne, aby być prawdziwe z większych badań, takich jak randomizowane badania kontrolowane.

Poprawka 2: „Im mniejsze rozmiary efektu w dziedzinie naukowej, tym mniej prawdopodobne, że wyniki badań są prawdziwe.” Należy również pamiętać, że wielkość efektu jest związana z mocą. Przykładem dużego efektu, który jest użyteczny i prawdopodobnie prawdziwy, jest wpływ palenia na raka lub choroby układu krążenia. Jest to bardziej wiarygodne niż małe postulowane efekty, takie jak genetyczne czynniki ryzyka na choroby. Bardzo małe rozmiary efektu mogą wskazywać na fałszywie pozytywne twierdzenia.

Zdanie 3: „Im większa liczba i mniejszy wybór badanych związków w dziedzinie nauki, tym mniejsze prawdopodobieństwo, że wyniki badań są prawdziwe.” If the pre-study probability that a finding is true influences the post-study probability that is true, it follows that findings are more likely to be true in confirmatory research than in exploratory research.

Corollary 4: „The greater the flexibility in designs, definitions, outcomes, and analytical modes in a scientific field, the less likely the research findings are to be true.” „Elastyczność”, mówi nam Ioannidis, „zwiększa potencjał przekształcania tego, co byłoby 'negatywnymi’ wynikami w 'pozytywne’ wyniki”. Aby temu przeciwdziałać, podjęto wysiłki w celu standaryzacji prowadzenia badań i raportowania z przekonaniem, że przestrzeganie takich standardów zwiększy prawdziwość wyników. Prawdziwe wyniki mogą być również bardziej powszechne, gdy wyniki są powszechnie uzgodnione, podczas gdy eksperymentalne metody analityczne mogą podlegać stronniczości i selektywnemu raportowaniu wyników.

Podsumowanie 5: „Im większe finansowe i inne interesy i uprzedzenia w dziedzinie nauki, tym mniej prawdopodobne, że wyniki badań są prawdziwe.” Konflikty interesów mogą być nieodpowiednio zgłaszane i mogą zwiększać stronniczość. Uprzedzenia mogą również wynikać z przekonań naukowca lub jego zaangażowania w daną teorię lub własną pracę. Dodatkowo, niektóre badania są prowadzone z własnego interesu, aby dać naukowcom kwalifikacje do awansu lub kadencji. To wszystko może zniekształcić wyniki.

Zasadność 6: „Im gorętsza dziedzina naukowa (z większą liczbą naukowców i zaangażowanych zespołów), tym mniej prawdopodobne, że wyniki badań są prawdziwe. „Kiedy zaangażowanych jest wielu graczy, wyprzedzenie konkurencji może stać się priorytetem, co może prowadzić do pośpiesznych eksperymentów lub skupienia się na uzyskaniu błyskotliwych i pozytywnych wyników, które są bardziej publikowane niż negatywne. Dodatkowo, kiedy zespoły skupiają się na publikowaniu „pozytywnych” wyników, inni mogą chcieć odpowiedzieć, znajdując „negatywne” wyniki, aby je obalić. W rezultacie powstaje coś, co nazywa się zjawiskiem Proteusza, które opisuje szybko zmieniające się skrajne twierdzenia badawcze i przeciwstawne im obalenia.

Używając swoich ram dla określenia Pozytywnej Wartości Predykcyjnej i odpowiadających im twierdzeń, Ioannidis dochodzi do wniosku, że „większość wyników badań jest fałszywa dla większości projektów badawczych i dla większości dziedzin.”

Pomimo, że szeroki zakres stronniczych i fałszywych wyników badań może wydawać się surową rzeczywistością, sytuację można poprawić na kilka sposobów. Po pierwsze, większe badania o wyższej mocy mogą obniżyć odsetek fałszywych wyników w literaturze, z zastrzeżeniem, że takie badania są bardziej pomocne, gdy testują pytania, dla których prawdopodobieństwo przed badaniem jest wysokie i gdy koncentrują się na szerszych koncepcjach, a nie na konkretnych pytaniach. Po drugie, zamiast skupiać się na istotnych wynikach poszczególnych badań, badacze powinni podkreślać całość dowodów. Po trzecie, stronniczość można zredukować poprzez podniesienie standardów badawczych, zwłaszcza poprzez zachęcanie do rejestracji przed badaniem. Wreszcie, Ioannidis sugeruje, że zamiast gonić za istotnością statystyczną, badacze powinni skupić się na zrozumieniu szans przedstudyjnych.

Po przeczytaniu tego, jakie są Twoje reakcje? Czy jesteś zaskoczony? Jak, jeśli w ogóle, zmienia to Twoje postrzeganie badań w ogóle? Jak poszczególne czynniki opisane w twierdzeniach mogą wpływać na siebie nawzajem, pogłębiając uprzedzenia?

Przeczytaj cały esej na PLOS.org tutaj. Możesz również znaleźć ten link w sekcji SEE ALSO na dole tej strony.