Original English version below.

***

El año pasado, algo sucedió en mi clase de periodismo de salud que no había pasado antes. Uno de mis alumnos encontró un estudio interesante sobre el que quería escribir para una tarea, sobre la ayahuasca, una potente bebida que podría usar para tratar algunos casos de depresión.

Esa parte no era inusual. Lo raro era que el documento en el que se basaba la información aún no había sido revisado por pares. El artículo, realizado por un grupo de investigadores en Brasil, se publicó en bioRxiv, un servidor de preimpresión. Hmmm, pensé, ¿sería buena idea escribir sobre tal estudio?

Estos artículos en borrador (preprints), para los no iniciados, son manuscritos que se han publicado en línea antes de la revisión por pares. La idea, en parte, es acelerar la ciencia, al permitir que los investigadores - y el mundo - vean antes "productos de investigación interinos", como el Instituto Nacional de la Salud (NIH) de EE. UU. los llama. En lugar de esperar para realizar una revisión por pares, que puede llevar semanas, meses o incluso años, otros científicos pueden criticar, mejorar e incluso ampliar el trabajo a un ritmo más rápido.

Todo eso suena bien para el progreso científico. Y el NIH está detrás de tales iniciativas, alentando a los investigadores que financia para usarlas. ¿Pero qué significa esto para los periodistas?

Durante décadas, se ha advertido a los reporteros que no informen sobre investigaciones que aún no han sido revisadas por pares. Un investigador puede hacer una afirmación que no esté basada en la evidencia, y amplificar el mensaje en medios de comunicación sería, en el mejor de los casos, engañoso y, en el peor de los casos, perjudicial para la salud pública. Las revistas, que por supuesto tienen interés en centrar la atención de los periodistas en la investigación revisada por pares, incluso han creado políticas que disuaden a los investigadores de hablar con los reporteros antes de que su trabajo aparezca en sus páginas.

No satanizar a los 'preprints'

Pero también se debe tener en cuenta que algunos de los mayores escándalos sobre investigaciones que resultaron ser erróneas involucraron investigaciones revisadas por pares. Considere el caso de Andrew Wakefield, cuyo estudio fraudulento que vincula el autismo y las vacunas se publicó en The Lancet, una de las revistas médicas más importantes del mundo. O el caso de las células madre STAP, que apareció en Nature.

Nada de eso significa que debamos abandonar la revisión por pares. Sigue siendo un filtro importante, y es probable que detecte muchos errores y tal vez incluso malas conductas. Pero tampoco significa que debamos tratar los artículos revisados ​​por pares como infalibles e ignorar las preprints porque no han pasado por el proceso.

En julio, escribiendo para Nature, Tom Sheldon planteó estas y otras preguntas. Pero el ejemplo que usó para mostrar cuándo la cobertura de la prensa podría ser arriesgada, no fue el caso de una preimpresión, sino el de un controvertido estudio de organismos modificados genéticamente (OGM) que había sido revisado por pares.

En otras palabras, en las manos equivocadas, o más precisamente con las presiones incorrectas, los estudios revisados ​​por pares tienen la misma probabilidad de conducir a un mal periodismo. De hecho, dado que pueden generar confianza, quizás el riesgo sea mayor. Además, como los ‘preprints’ pronto llegarán a la medicina clínica, es hora de que los periodistas de salud se sientan cómodos con ellos.

¿Cómo deberían hacer eso los periodistas? Por un lado, deben entender lo que la revisión por pares puede y no puede hacer. Deben tomar nota de los servidores de preimpresión existentes, desde arXiv a bioRxiv a psyArXiv. (Y sí, es molesto que no haya consistencia en el uso de mayúsculas. Más trabajo para los correctores de estilo y editores). Y los reporteros deberían estar preparados para hacer las mismas preguntas difíciles, tanto a las investigaciones revisadas por pares, como en los estudios que aparecen como ‘preprints’.

Aquí hay una pregunta específica que los reporteros pueden hacer: ¿esta preimpresión se envió a un diario antes de su publicación y, de ser así, qué sucedió? Así es como mi alumno, Emiliano Rodríguez Mega, pudo informar que la preimpresión sobre la que escribió ya había sido rechazada por una docena de revistas. Eso le dice algo al lector. De hecho, tal vez los reporteros deberían preguntar lo mismo a los autores de estudios revisados ​​por pares.

Así que: vienen los preprints. No tenga miedo, pero comprenda y verifique, tal como lo haría con cualquier otra afirmación.

***

Ivan Oransky, MD, es escritor distinguido residente en el Instituto de Periodismo Arthur Carter de la Universidad de Nueva York, donde enseña periodismo de salud. También es Presidente de la Asociación de Periodistas de Atención Médica. También es co-fundador de Retraction Watch.

***

También recomendamos leer: Postúlate al Premio Roche de Periodismo en Salud, en su séptima edición.

***

Preprints are coming to clinical research. Reporters, are you ready?

Ivan Oransky, MD | @ivanoransky

Last year, something happened in my medical reporting class that had never happened before. One of my students had found an interesting study that he wanted to write about for an assignment, about ayahuasca, a potent brew, and whether it could be used to treat some cases of depression.

That part wasn’t unusual. What was unusual was that the paper he wanted to report on had not yet been peer-reviewed. The article, by a group of researchers in Brazil, had been posted on bioRxiv, a preprint server. Hmm, I thought, would it be good idea to write about such a study?

Preprints, for the uninitiated, are manuscripts that have been posted online before peer review. The idea, in part, is to speed up science, by letting researchers -- and the world -- see “interim research products,” as the U.S. National Institutes of Health (NIH) calls them, sooner. Rather than wait to go through peer review, which can take weeks, months, or even years, other scientists can critique, improve, and even build on the work at a faster pace.

That all sounds good for scientific progress. And the NIH is behind such initiatives, encouraging researchers it funds to use them. But what does it mean for journalists?

For decades, reporters have been warned not to report on research that has yet to go through peer review. A researcher might make a claim that isn’t evidence-based, and amplifying the message with a news story would be misleading at best, and bad for the public health, at worst. Journals -- which of course have an interest in focusing journalists’ attention on peer-reviewed research -- have even created policies that discourage researchers from talking to reporters before their work appears in their pages.

But it should also be noted that some of the biggest scandals about research that turned out to be wrong involved peer-reviewed research. Consider the case of Andrew Wakefield, whose fraudulent study linking autism and vaccines was published in The Lancet, one of the world’s leading medical journals. Or the case of STAP stem cells, which appeared in Nature.

None of that means we should abandon peer review. It remains an important filter, and it is likely that it catches a lot of errors and maybe even misconduct. But neither does it mean that we should treat peer-reviewed papers as infallible, and ignore preprints because they have not been through the process.

In July, writing in Nature, Tom Sheldon raised these questions and others. But the example he used of when press coverage could be risky was not a case of a preprint, but of a controversial study of genetically modified organisms (GMOs) that had gone through peer review.

In other words, in the wrong hands, or more precisely with the wrong pressures, peer-reviewed studies are just as likely -- indeed, because they can breed complacency, perhaps even more likely -- to lead to bad journalism. And given that they will arrive in clinical medicine one day soon, it’s time for health reporters to become comfortable with them.

How should they do that? For one, journalists should understand what peer review can -- and can’t -- do. They should take note of existing preprint servers, from arXiv to bioRxiv to psyArXiv. (And yes, it’s annoying that there is no consistency in capitalization. More work for copy editors.) And they should ask the same tough questions about peer-reviewed research as they are prepared to ask about studies that appear as preprints.

Here’s a specific question reporters can ask: Was this preprint submitted to a journal before it was posted, and if so, what happened? That’s how my student, Emiliano Rodríguez Mega, was able to report that the preprint he wrote about had already been rejected by a dozen journals. That tells the reader something. In fact, maybe reporters should be asking authors of peer-reviewed studies the same thing.

So: Preprints are coming. Don’t be afraid, but do trust and verify -- just as you would for any other claim.

***

Ivan Oransky, MD, is Distinguished Writer in Residence at New York University’s Arthur Carter Journalism Institute, where he teaches medical journalism, and president of the Association of Health Care Journalists. He is also co-founder of Retraction Watch.

***

*Traducción al español por Hernán Restrepo.