¿Por qué no hay un estudio científico perfecto?: guía para periodistas

Los errores y la incertidumbre son inherentes a todo proceso de investigación. Pero existen formas de minimizarlos siguiendo unas pautas rigurosas y siendo honestos con las posibles limitaciones en los estudios.

Sobre este tema trató el seminario web ‘Errar es de humanos, y también de epidemiólogos’, que dirigió el Dr. Jorge Acosta Reyes, epidemiólogo y profesor del departamento de Salud Pública de la Universidad del Norte.

Este fue el tercer seminario del ciclo ‘Epidemiología para periodistas’, realizado por la Fundación Gabo, en alianza con Uninorte y la Fundación Santo Domingo, del 27 de abril al 7 de mayo de 2020.

El siguiente es un resumen del webinar que pretende ser útil para periodistas para explicar por qué no hay un estudio perfecto, cuáles son las principales fuentes de errores y cuál el origen de la incertidumbre en los estudios epidemiológicos.

¿Cuáles son las partes de una investigación?

Para que una investigación sea considerada de validez científica debe seguir un proceso de diseño e implementación del que se obtienen unas conclusiones. Se divide en estas etapas:

• Pregunta de investigación: debe responder un problema que vale la pena ser resuelto y debe definir una población (o universo) en la que se podrán generalizar los resultados del estudio. Ejemplo: enfermos de covid-19 en el mundo. 

  No tiene sentido hacer una investigación que no vaya a aportar una información adicional. Por ello, los investigadores se pueden tardar días o meses concibiendo la pregunta. Gran parte de su labor diaria es estar pensando en preguntas de investigación.
   

• Plan de estudio: es el diseño de la investigación. Aquí se incluye todo lo que tiene que ver con el problema de investigación que se quiere resolver. Tiene un componente teórico que es la base del plan y un componente metodológico que es todo lo que se va a hacer para dar respuesta a la pregunta de investigación. 

  Como no se puede examinar a la población completa, en este caso, los enfermos de covid-19 en el mundo, debe definirse una muestra representativa de la población que se va a estudiar; ejemplo: 100 personas enfermas con covid-19.

  Además el plan incluye un componente administrativo que muestra el cronograma, los recursos necesarios, las personas que hay que contratar, etc. Es vital que este protocolo de investigación sea evaluado por pares y por un comité de ética.
   

• Implementación del estudio: se aplica la metodología para obtener los resultados de investigación. Aquí es importante ceñirse al plan preestablecido y hacer las mediciones adecuadas y un seguimiento idóneo. 
   
• Hallazgos en la investigación: son los resultados obtenidos en el estudio. Si el estudio se hace con el debido rigor, lo que se obtiene en la investigación con la muestra (100 enfermos con covid-10) debe reflejarse fidedignamente en el universo que se está estudiando (todos los enfermos con covid-19). 

  Es importante en esta etapa reconocer si se hicieron errores sistemáticos y reportarlos en los informes de investigación, de tal manera que los lectores de los artículos tengan la tranquilidad de poderlos identificar fácilmente. 

Errores en una investigación

Es común que un investigador clínico piense que sus estudios son perfectos y que, en virtud de su esfuerzo, puede confiar ciegamente en los resultados de su investigación. Pero los errores están a la orden del día. Estos son a grandes rasgos los que se pueden encontrar en una investigación (nota: esto es basado en modelos de investigación cuantitativa y bajo el supuesto de que suceden en una investigación honesta, sin fraude o datos inventados).

Errores sistemáticos

También se les conoce como sesgos. Un sesgo es un proceso que tiende a producir resultados que se desvían sistemáticamente de los valores verdaderos. En otras palabras: es cuando se repite siempre, de la misma manera y en la misma dirección, un proceso equivocado -consciente o inconsciente-, que puede hacer que se sobreestime o subestime el resultado real. 

Hay más de 200 tipos de sesgos, pero estos se pueden englobar bajo los tres grupos que se definen a continuación:

Sesgos de selección

Son de los más frecuentes y fáciles de cometer. Al investigar es imposible estudiar a toda una población, por lo que en epidemiología lo que se hace es tomar una muestra y procurar que sea lo más parecida posible a esa población. No necesariamente se estudia la población general, sino una población con una enfermedad o con una característica específica. Pero podría haber errores al momento de seleccionar individuos de manera que la muestra no sería representativa de la población que se quiere analizar, lo que conduciría a que todas las conclusiones del estudio estén incorrectas.

Por ejemplo: un estudio de cohortes que busca conocer, en pacientes con covid-19, los factores asociados a un mal pronóstico del virus podría tener los siguientes sesgos de selección: 

• Incluir pacientes cuyo diagnóstico de covid-19 se hizo con pruebas no validadas: estas pruebas pueden arrojar falsos positivos y falsos negativos. Ello implicaría clasificar pacientes como enfermos por covid-19 cuando realmente no están enfermos u omitir pacientes enfermos del estudio porque su prueba es negativa. Entonces, la muestra del estudio no es representativa de la población que se quiere estudiar.

• Combinar pacientes con y sin coronavirus: incluir en el estudio pacientes que tienen diagnóstico positivo por RT-PCR (la prueba de referencia para coronavirus) y juntarlos con pacientes con un diagnóstico que sugiere la enfermedad, pero que salieron negativos en la prueba. Como ese paciente podría no tener la enfermedad, la muestra del estudio estaría combinando pacientes con covid-19 y sin covid-19, lo que no es representativo de la población que se quiere estudiar.

• No incluir pacientes asintomáticos: esto es un problema para todos los investigadores por la extrema dificultad para encontrar pacientes asintomáticos.

Sesgos de información

Se producen cuando, de manera inconsciente, se realizan las mediciones de una forma deficiente o no validada.

Por ejemplo: en un estudio de casos y controles para saber si el covid-19 se asocia con síntomas gastrointestinales, se comparan pacientes positivos para el virus con pacientes negativos. El investigador no tiene contacto con los pacientes sino que busca sus historias clínicas. Pero esto podría traer un sesgo de información.

Podría suceder que cuando fueron atendidos los pacientes positivos, sus médicos no preguntaron por síntomas gastrointestinales, no porque el paciente no los tuviera, sino porque el enfoque era en su cuadro respiratorio por tratarse de covid-19. Y, por el contrario, cuando se atendió a pacientes negativos, sí se les preguntó con mayor frecuencia sobre la presencia de estos síntomas gastrointestinales. 

Entonces, se pueden encontrar diferencias que no se deben a la realidad sino a una mala medición, porque las historias clínicas están incompletas en los desenlaces que se están estudiando.

Confusión

Se produce cuando el factor que se está estudiando está asociado con el efecto deseado, pero es debido a una distorsión o confusión por una variable que no fue controlada. Por ende, no existe una asociación real.

Por ejemplo: en un estudio clínico controlado para conocer si determinado fármaco es efectivo para curar el coronavirus, podría generarse confusión si los investigadores aplican este tratamiento a pacientes de un hospital y hacen la comparación con personas de otro hospital que no recibieron el fármaco.

Si el primer hospital está especializado en tratar el covid-19 y el segundo es un hospital general, es más probable que los pacientes del primer hospital se recuperen satisfactoriamente, independiente del uso del fármaco.

En ensayos clínicos, la asignación de la intervención (el fármaco) se debe realizar al azar para que, en teoría, el grupo que recibe el medicamento y el que no lo recibe tengan la misma composición. Esto se hace para controlar la aparición de variables confusoras.

Errores aleatorios

Son errores que permanecen después de que el error sistemático es eliminado. El error aleatorio no es más que una variabilidad en los datos que no se puede explicar fácilmente. Todas las investigaciones tienen errores producto del azar, pero estos son más grandes entre más pequeña es la muestra. 

Por ejemplo: si para estimar la prevalencia de una enfermedad se estudia a un solo paciente, el error aleatorio es altísimo; por eso es impensable plantear un estudio de esa forma. Pero a medida que aumenta la muestra, es decir, que se toman más pacientes de una población, el error aleatorio empieza a disminuir y la medición será más precisa.

Un ejemplo de error

Se cree que fue un estudio realizado por el Hospital Timone, en Francia, por el cual Donald Trump lanzó un mensaje a favor del uso la hidroxicloroquina y la azitromicina como tratamiento para el covid-19.

Los investigadores encontraron que de 16 pacientes del grupo de control, es decir, que no recibieron el tratamiento, solamente dos se curaron. De los 14 pacientes que recibieron hidroxicloroquina se curaron ocho. En cambio, de los seis pacientes que recibieron hidroxicloroquina más azitromicina, se curaron todos. 

Si uno mira este estudio a simple vista, parece muy claro que la combinación de los dos fármacos es perfecta para curar el virus. Pero cuando se observa a fondo, se trata una investigación de muy baja calidad de evidencia, positiva para sesgo de selección, sesgo de información y confusión. 

• Sesgo de selección: este es un estudio no aleatorizado. En este caso los pacientes que recibieron el tratamiento estaban en un hospital, y entre el grupo de control, que no recibió el tratamiento, se encontraban pacientes de otros hospitales y personas que no quisieron recibir el tratamiento. Esto conduce a conclusiones erróneas.
• Sesgo de información: además de los 36 pacientes examinados, hubo seis pacientes que salieron del estudio: uno de ellos decidió no continuar con el tratamiento por sentir náuseas, tres entraron a cuidados intensivos y uno murió; sin embargo fueron excluidos del análisis, lo que distorsiona completamente los resultados.
• Confusión: en el estudio, la azitromicina aparece como un medicamento que se le dio a algunos pacientes dependiendo de sus síntomas, pero no queda claro qué criterios utilizaron para elegir a los pacientes o el medicamento. Esto podría tener un sesgo de confusión grandísimo, puesto que los pacientes podrían haber presentado mejora con otro antibiótico o por sí solos sin otro medicamento.

¿Qué hacer con los errores?

Investigadores

1. Reconocer dónde podría acechar el sesgo al plantear una pregunta de investigación.
2. Si se puede identificar el sesgo, evitarlo o minimizarlo cuando sea posible.
3. Si no es posible evitar el sesgo, controlarlo y estimar sus efectos.
4. Reconocer los errores cuando se identifican.
5. Obtener un número adecuado de pacientes para los estudios.

Lectores de literatura científica (periodistas, estudiantes, médicos)

1. Leer artículos originales sobre estudios que vienen de investigación (ensayos clínicos, estudios de cohortes, estudios de casos y controles). No se deben basar grandes conclusiones en editoriales, comentarios o cartas al editor en revistas científicas. 
2. Utilizar herramientas de lectura crítica: esto requiere un entrenamiento y conocimiento profundo. Algunas herramientas útiles son CASPe y JAMA.
3. Apoyarse en un experto: una recomendación es buscar los departamentos de comunicaciones de las universidades para que recomienden expertos que ayuden a interpretar estudios y demás información científica.
4. Buscar posibles conflictos de interés de los investigadores: estos conflictos pueden ocasionar que la investigación esté sesgada.
5. Tener en cuenta la jerarquía de la evidencia: los mejores estudios, es decir, los que tienen menos sesgos son las revisiones sistemáticas y los metaanálisis. Luego están los ensayos clínicos aleatorizados, estudios de cohortes, y estudios de casos y controles.
6. Leer preferiblemente publicaciones de revistas indexadas con revisión por pares:  en bases de datos como Pubmed, Embase o Lilacs hay artículos que pasaron una revisión con expertos que dieron su punto de vista, hicieron recomendaciones y estuvieron de acuerdo con la publicación del artículo
7. Tener cuidado con las revistas depredadoras: estas son revistas que reciben pagos por publicar artículos rápidamente tras hacer revisiones poco exhaustivas e inespecíficas. No confundir con revistas open access, que tratan de ser independientes de empresas con conflictos de interés y también reciben pagos, pero hacen un proceso de revisión riguroso y creíble.
8. No reportar como información concluyente en los medios lo que aparece en publicaciones preprint: son publicaciones que aparecen en repositorios antes de ser revisadas por pares y publicadas en revistas reconocidas. Surgen frente a la necesidad de tener publicaciones rápidas ante las demoras de una revisión de pares, que puede tardar hasta un año. Pese a que estas publicaciones pueden tener información científicamente valiosa, algunas son de calidad dudosa, con pobres resultados. Por ende, no deben considerarse como concluyentes, ni guiar la práctica clínica o el comportamiento relacionado con la salud, ni tampoco ser reportadas en los medios comunicación como información establecida.

Preguntas frecuentes

¿Cómo eliminar el sesgo de selección en estudios de recolección de información y análisis retrospectivo?

"Es muy difícil. Por ello mi primera recomendación no va hacia los investigadores sino hacia las personas que están en los servicios médicos: hacer buenos registros, tener muy buenas historias clinicas, ser juiciosos al llenar las historias clínicas. 

Los investigadores a veces no tenemos otra opción que hacer investigaciones retrospectivas. Entonces tenemos que ser muy conscientes de que podemos tener errores y hacerlos explícitos al momento de mostrar los resultados. Cuando un autor coloca en una investigación sus limitaciones, incluyendo los sesgos, está haciendo un favor grandísimo a todos. Es mejor mostrar los errores a que otros se los hagan ver".

¿Qué sesgos de selección hay cuando se presentan los casos diarios de covid-19 y cómo puede afectar los resultados?

"Sí hay sesgos de selección cuando se reportan los casos, porque lo que se está mostrando en esos estudios positivos es solo una parte de la verdad, no porque la estemos ocultando sino porque no somos capaces de tener esa población que queremos representar. Solo se reportan los pacientes con síntomas y que además reportaron la enfermedad. Y además, si se hace adecuadamente el ejercicio de vigilancia epidemiológica, estamos haciendo también la búsqueda activa de personas con las que tuvieron contacto. Pero, ¿dónde están los asintomáticos?, ¿dónde están los que no reportan sus síntomas? Eso quiere decir que del número que se reporta diariamente, lo más seguro es que haya un número mucho mayor de pacientes con la enfermedad. Se dice que puede ser diez veces mayor, pero eso tampoco está muy claro".

¿Cómo ha cambiado la divulgación de resultados de investigación en medio de la pandemia?

"Gran parte de la calidad de los estudios depende de la revisión por pares. El preprint nació como una gran iniciativa para evitar que, ante los largos tiempos que supone esta revisión, las personas tuvieran un acceso tardío a la información.

Si yo hago una investigación, me tardo tres años haciendo el proyecto y preparo una publicación, me demoraré seis meses o un año para poder publicarla. En una pandemia no tiene sentido publicar resultados cuatro años después. Entonces, una de las posibles iniciativas es el preprint. Entonces, los investigadores hacen su investigación rápida y publican sus resultados en repositorios como medRxiv, que tienen cierto reconocimiento pero advierten de las limitaciones de lo que publican. 

Es muy importante que este tipo de información no se divulgue de manera directa por los periodistas sin la asesoría de un experto, porque esos estudios, a causa de la falta de revisión, pueden tener errores grandísimos que los invalidan completamente. Se podría estar comunicando información falsa".

¿Qué valor tienen para los periodistas las editoriales, las cartas al editor, las descripciones de casos y los comentarios en las publicaciones?

"Los reportes de casos están sujetos a revisión por pares. Por supuesto, tienen menos evidencia; pero, ojo, esto no es malo. Inclusive con poca evidencia estos pueden llevar a grandes preguntas de investigación. 

Las cartas al editor tienen algunos puntos: puede que se publiquen solo las que el editor encuentre interesantes y no las que la comunidad considere así. No tienen una revisión propiamente dicha, así que sus autores técnicamente podrían poner cualquier cosa en las cartas. Pero su valor recae en que generan conversación, hacen crítica a otros estudios y comparan varios estudios entre sí; por ende son importantes al investigar sobre un tema, no para obtener resultados de investigación, sino para saber en qué se están moviendo los investigadores". 

¿Hay algún portal donde podamos consultar estudios revisados por pares?

"No hay una página donde estén todos los ‘mejores estudios’. Mi recomendación es buscar páginas que estén certificadas, o al menos reconocidas a nivel internacional por otros autores. Pubmed es una base de datos de la Biblioteca Nacional de Medicina de Estados Unidos, donde la mayoría de artículos tienen una buena validez. Embase, que es una página de Europa, aunque no es accesible para todo el mundo. Lilacs, que es Latinoamericana, también tiene revistas evaluadas por pares. También buscar qué dice la OMS, qué dicen los CDC en Estados Unidos, qué dicen los Ministerios de Salud de cada país. Ellos se tienen que basar en información reconocida. Sin embargo, siempre es necesario leer de una manera crítica todos los estudios a los que nos tenemos que enfrentar. Lastimosamente en los estudios no siempre ocurren las cosas como deberían. Y siempre que sea posible, hay que apoyarse en un experto".