Em 2005, John Ioannidis, bem conhecido por suas pesquisas sobre a validade dos estudos na área da saúde e ciências médicas, escreveu um ensaio intitulado “Why Most Publicished Research Findings are False” (Porque a maioria dos resultados das pesquisas publicadas são falsos). O título contundente e os argumentos provocadores e convincentes de Ioannidis fizeram deste trabalho uma das peças fundamentais da literatura nas áreas da meta-ciência e da transparência das pesquisas. Seria difícil encontrar um artigo sobre esses temas – publicado em uma revista ou na mídia popular – que não o mencione.

Neste vídeo, apresento os diferentes tipos de erros que podem ocorrer na pesquisa, suas probabilidades, e o conceito de poder estatístico. Também vamos aprender sobre o Valor Predictivo Positivo, ou a credibilidade dos resultados de um estudo, assim como como como os vieses podem impactar os resultados. A última parte do vídeo apresenta seis corolários que caracterizam a pesquisa científica e o que os cientistas podem fazer para melhorar a validade da pesquisa. Vamos mais a fundo sobre esses corolários abaixo.

No artigo, Ioannidis estabelece uma estrutura para demonstrar:

• a probabilidade de que os resultados da pesquisa sejam falsos,
• a proporção de resultados em um determinado campo de pesquisa que são válidos,
• como diferentes vieses afetam os resultados da pesquisa, e
• o que pode ser feito para reduzir o erro e o viés.

Ioannidis define primeiro o viés como “a combinação de vários fatores de desenho, dados, análise e apresentação que tendem a produzir resultados de pesquisa quando eles não devem ser produzidos”. Ele continua dizendo que “o viés pode implicar manipulação na análise ou no relato dos resultados”. O relato seletivo ou distorcido é uma forma típica desse viés”.

Com o aumento do viés, as chances de que os resultados sejam verdadeiros diminuem. E o viés inverso – a rejeição de relações verdadeiras devido a erro de medida, uso ineficiente dos dados e falha no reconhecimento de relações estatisticamente significativas – torna-se menos provável à medida que a tecnologia avança.

Um outro ponto importante que Ioannidis faz é que, enquanto várias equipes de pesquisa frequentemente estudam as mesmas questões de pesquisa ou similares, é a norma que a comunidade científica como um todo tende a focar em uma descoberta individual, ao invés de em evidências mais amplas.

Ele prossegue listando corolários sobre a probabilidade de uma descoberta de pesquisa ser realmente verdadeira:

Corolário 1: “Quanto menores forem os estudos realizados em um campo científico, menor será a probabilidade de os resultados da pesquisa serem verdadeiros”. Ele se refere aqui ao tamanho da amostra. Quanto menor o tamanho do efeito em um campo científico, menor a probabilidade dos resultados da pesquisa serem verdadeiras”. Lembre-se também que o tamanho do efeito está relacionado ao poder. Um exemplo de um grande efeito que é útil e provavelmente verdadeiro é o impacto do fumo no câncer ou nas doenças cardiovasculares. Isto é mais confiável do que pequenos efeitos postulados como fatores de risco genéticos sobre a doença. Efeitos muito pequenos podem ser indicativos de falsas alegações positivas.

Corolário 3: “Quanto maior o número e menor a seleção de relações testadas em um campo científico, menor a probabilidade de que os resultados da pesquisa sejam verdadeiros”. Se a probabilidade pré-estudo de que uma descoberta é verdadeira influencia a probabilidade pós-estudo que é verdadeira, segue-se que as descobertas são mais prováveis de serem verdadeiras em pesquisas confirmatórias do que em pesquisas exploratórias.

Corolário 4: “Quanto maior a flexibilidade em desenhos, definições, resultados e modos analíticos em um campo científico, menor a probabilidade de as descobertas da pesquisa serem verdadeiras”. “Flexibilidade”, diz Ioannidis, “aumenta o potencial para transformar o que seriam resultados ‘negativos’ em resultados ‘positivos'”. Para combater isso, esforços têm sido feitos para padronizar a conduta de pesquisa e relatórios com a crença de que a adesão a tais padrões aumentará os resultados verdadeiros. Descobertas verdadeiras também podem ser mais comuns quando os resultados são universalmente acordados, enquanto métodos analíticos experimentais podem estar sujeitos a viés e relato seletivo de resultados.

Corolário 5: “Quanto maiores forem os interesses financeiros e outros interesses e preconceitos em um campo científico, menor será a probabilidade de que as descobertas da pesquisa sejam verdadeiras”. Conflitos de interesse podem ser inadequadamente relatados e podem aumentar o viés. O preconceito também pode surgir devido à crença ou compromisso de um cientista com uma teoria ou com o seu próprio trabalho. Além disso, algumas pesquisas são conduzidas por interesse próprio para dar aos pesquisadores qualificações para promoção ou posse. Todos estes podem distorcer os resultados.

Corolário 6: “Quanto mais quente um campo científico (com mais pesquisadores e equipes envolvidas), menos provável que os resultados da pesquisa sejam verdadeiros”. Quando há muitos jogadores envolvidos, chegar à frente da competição pode se tornar a prioridade, o que pode levar a experiências apressadas ou a um foco na obtenção de resultados vistosos e positivos que são mais publicáveis do que negativos. Além disso, quando as equipas se concentram em publicar resultados “positivos”, outros podem querer responder encontrando resultados “negativos” para os refutar. O que resulta, então, é algo chamado fenômeno Proteus, que descreve rapidamente a alternância de afirmações extremas de pesquisa e refutações opostas.

Usando sua estrutura para determinar o Valor Preditivo Positivo e os corolários correspondentes, Ioannidis conclui que “a maioria dos resultados de pesquisa são falsos para a maioria dos desenhos de pesquisa e para a maioria dos campos”.

Embora a grande extensão de resultados de pesquisa tendenciosos e falsos possa parecer uma dura realidade, a situação pode ser melhorada de algumas maneiras. Em primeiro lugar, estudos maiores e com maior potência podem reduzir a proporção de falsos achados em uma literatura, com as ressalvas de que tais estudos são mais úteis quando testam questões para as quais a probabilidade de pré-estudo é alta e quando se concentram em conceitos mais amplos em vez de questões específicas. Em segundo lugar, em vez de se concentrarem em resultados significativos de estudos individuais, os pesquisadores devem enfatizar a totalidade das evidências. Terceiro, o viés pode ser reduzido através da melhoria dos padrões de pesquisa, especialmente incentivando o registro pré-estudo. Finalmente, Ioannidis sugere que, ao invés de apenas perseguir significância estatística, os pesquisadores deveriam focar na compreensão das probabilidades pré-estudo.

Após ler isto, quais são suas reações? Você está surpreso? Como, se é que isto muda a sua percepção sobre a investigação em geral? Como os fatores individuais descritos nos corolários podem influenciar uns aos outros para exacerbar o viés?

Leia aqui o ensaio completo do PLOS.org. Você também pode encontrar este link na seção VER TAMBÉM no final desta página.