En 2005, John Ioannidis, muy conocido por sus investigaciones sobre la validez de los estudios en las ciencias médicas y de la salud, escribió un ensayo titulado «Por qué son falsos los resultados de la mayoría de las investigaciones publicadas». El contundente título y los provocativos y convincentes argumentos de Ioannidis han convertido este ensayo en una de las piezas fundamentales de la literatura en los ámbitos de la metaciencia y la transparencia de la investigación. Es difícil encontrar un artículo sobre estos temas -publicado en una revista o en los medios de comunicación- que no lo mencione.

En este vídeo, le presento los diferentes tipos de errores que pueden producirse en la investigación, sus probabilidades y el concepto de potencia estadística. También aprenderemos sobre el valor predictivo positivo, o la credibilidad de los hallazgos de un estudio, así como la forma en que los sesgos pueden afectar a los resultados. La última parte del vídeo expone seis corolarios que caracterizan la investigación científica y lo que los científicos pueden hacer para mejorar la validez de la investigación. A continuación profundizamos en estos corolarios.

En el artículo, Ioannidis establece un marco para demostrar:

• la probabilidad de que los resultados de la investigación sean falsos,
• la proporción de resultados en un campo de investigación determinado que son válidos,
• cómo los diferentes sesgos afectan a los resultados de la investigación, y
• qué se puede hacer para reducir los errores y los sesgos.

Ioannidis define primero el sesgo como «la combinación de varios factores de diseño, datos, análisis y presentación que tienden a producir resultados de investigación cuando no deberían producirse.» Continúa diciendo que «el sesgo puede implicar una manipulación en el análisis o la presentación de los resultados. La información selectiva o distorsionada es una forma típica de este tipo de sesgo».

Con el aumento del sesgo, disminuyen las posibilidades de que los hallazgos sean verdaderos. Y el sesgo inverso -el rechazo de las relaciones verdaderas debido al error de medición, el uso ineficiente de los datos y la incapacidad de reconocer las relaciones estadísticamente significativas- se vuelve menos probable a medida que avanza la tecnología.

Otro punto importante que señala Ioannidis es que, si bien múltiples equipos de investigación a menudo estudian las mismas o similares preguntas de investigación, la norma es que la comunidad científica en su conjunto tiende a centrarse en un descubrimiento individual, en lugar de en una evidencia más amplia.

Pasa a enumerar corolarios sobre la probabilidad de que un hallazgo de la investigación sea realmente cierto:

Corolario 1: «Cuanto más pequeños sean los estudios realizados en un campo científico, menos probable será que los hallazgos de la investigación sean verdaderos». Se refiere aquí al tamaño de la muestra. Es más probable que los resultados de la investigación sean ciertos con estudios más grandes, como los ensayos controlados aleatorios.

Corolario 2: «Cuanto más pequeños sean los tamaños de los efectos en un campo científico, menos probable será que los resultados de la investigación sean ciertos.» Recuerde también que el tamaño del efecto está relacionado con la potencia. Un ejemplo de un efecto grande que es útil y probablemente verdadero es el impacto del tabaquismo en el cáncer o las enfermedades cardiovasculares. Esto es más fiable que los pequeños efectos postulados, como los factores de riesgo genéticos sobre la enfermedad. Los tamaños de efecto muy pequeños pueden ser indicativos de afirmaciones falsas positivas.

Corolario 3: «Cuanto mayor sea el número y menor la selección de relaciones probadas en un campo científico, menos probable será que los resultados de la investigación sean verdaderos.» Si la probabilidad previa al estudio de que un hallazgo sea verdadero influye en la probabilidad posterior al estudio de que sea verdadero, se deduce que es más probable que los hallazgos sean verdaderos en la investigación confirmatoria que en la exploratoria.

Corolario 4: «Cuanto mayor sea la flexibilidad en los diseños, las definiciones, los resultados y los modos de análisis en un campo científico, menos probable será que los hallazgos de la investigación sean verdaderos.» «La flexibilidad», nos dice Ioannidis, «aumenta las posibilidades de transformar lo que serían resultados ‘negativos’ en resultados ‘positivos'». Para combatir esto, se han hecho esfuerzos para estandarizar la conducta de la investigación y la presentación de informes con la creencia de que la adhesión a esas normas aumentará los hallazgos verdaderos. Los hallazgos verdaderos también pueden ser más comunes cuando los resultados se acuerdan universalmente, mientras que los métodos analíticos experimentales pueden estar sujetos a sesgos y a la notificación selectiva de resultados.

Corolario 5: «Cuanto mayores sean los intereses financieros y de otro tipo y los prejuicios en un campo científico, menos probable será que los hallazgos de la investigación sean verdaderos.» Los conflictos de intereses pueden ser informados inadecuadamente y pueden aumentar los prejuicios. Los prejuicios también pueden surgir debido a la creencia o el compromiso de un científico con una teoría o su propio trabajo. Además, algunas investigaciones se llevan a cabo por interés propio para dar a los investigadores calificaciones para la promoción o la titularidad. Todo esto puede distorsionar los resultados.

Corolario 6: «Cuanto más candente sea un campo científico (con más investigadores y equipos implicados), menos probabilidades habrá de que los resultados de la investigación sean ciertos» Cuando hay muchos participantes, adelantarse a la competencia puede convertirse en la prioridad, lo que puede llevar a realizar experimentos apresurados o a centrarse en obtener resultados llamativos y positivos que sean más publicables que los negativos. Además, cuando los equipos se centran en publicar resultados «positivos», otros pueden querer responder encontrando resultados «negativos» para refutarlos. Lo que resulta entonces es algo llamado el fenómeno Proteus, que describe la rápida alternancia de afirmaciones de investigación extremas y refutaciones opuestas.

Usando su marco para determinar el Valor Predictivo Positivo y los corolarios correspondientes, Ioannidis concluye que «la mayoría de los resultados de la investigación son falsos para la mayoría de los diseños de investigación y para la mayoría de los campos».

Aunque la amplia extensión de los resultados de investigación sesgados y falsos puede parecer una dura realidad, la situación puede mejorarse de algunas maneras. En primer lugar, los estudios de mayor potencia y tamaño pueden reducir la proporción de hallazgos falsos en una bibliografía, con la advertencia de que dichos estudios son más útiles cuando ponen a prueba cuestiones para las que la probabilidad previa al estudio es alta y cuando se centran en conceptos más amplios en lugar de en cuestiones específicas. En segundo lugar, en lugar de centrarse en los resultados significativos de los estudios individuales, los investigadores deben hacer hincapié en la totalidad de las pruebas. En tercer lugar, el sesgo puede reducirse mejorando las normas de investigación, especialmente fomentando el registro previo al estudio. Por último, Ioannidis sugiere que, en lugar de perseguir únicamente la significación estadística, los investigadores deberían centrarse en comprender las probabilidades previas al estudio.

Después de leer esto, ¿cuáles son sus reacciones? ¿Le sorprende? ¿Cómo cambia esto, si es que lo hace, su percepción sobre la investigación en general? ¿Cómo podrían los factores individuales descritos en los corolarios influir entre sí para exacerbar el sesgo?

Lea el ensayo completo en PLOS.org aquí. También puede encontrar este enlace en la sección VER TAMBIÉN al final de esta página.