Unos investigadores han analizado qué dicen los resúmenes de los papers científicos. Hay bastante «clickbait»
Los artículos académicos, los papers revisados por pares publicados en revistas científicas, son uno de los pilares de la ciencia hoy en día. Estos artículos suelen tener una estructura más o menos definida, con introducción, resultados, conclusiones y discusión, además de un apartado dedicado a la metodología empleada.
Un elemento que nunca (o prácticamente nunca) falta en este tipo de artículos es el abstract.
Abstract es el término con el que se conoce a una suerte de resumen del contenido del artículo. Es una pieza clave que tiene el objetivo de servir de guía bibliográfica a quienes están buscando un estudio, por lo que este breve texto debe responder adecuadamente a la pregunta ¿de qué va este artículo?
Pero más allá de esta función básica, el abstract a menudo cumple la función de resumen del artículo, incluyendo información sobre métodos, resultados y conclusiones del experimento o estudio realizado.
Muchos de los artículos científicos son de acceso limitado, protegidos por un paywall, el precio de un solo artículo puede ser de varias decenas de euros, pero los resúmenes están disponibles en abierto.
Los artículos científicos, incluyendo este breve texto introductorio, son sometidos a varias revisiones editoriales y científicas, por lo que cabría esperar que los abstracts sean fieles representaciones de lo que el artículo y el estudio realizado. El problema es que, a veces, no lo son tanto.
A finales de los 90, un grupo de investigadores analizó la existencia de discrepancias entre los resúmenes de los artículos y su contenido. El equipo analizó más de 260 artículos (44 piezas por seis revistas científicas de relieve) publicados en 1996 y 1997. Estudiaron dos formas en las que estos resúmenes podrían resultar incorrectos, bien por inconsistencias con el cuerpo del artículo, bien por la omisión de información relevante.
Los resultados mostraban variación en los resultados según la revista (hallaron que entre el 18% y el 68% de los artículos presentaban problemas). Concluían, en su propio abstract, que los datos inconsistentes o ausentes en estos resúmenes eran “comunes, aún en las revistas médicas de gran circulación”. El estudio fue publicado en 1999 la revista JAMA, una de las publicaciones analizadas en el mismo.
Han pasado 25 años desde la publicación del estudio de la revista JAMA y casi 30 desde la publicación de algunos de los artículos analizados. La ciencia ha cambiado mucho en esos 25 años. Sin embargo algunos estudios posteriores indican que este problema persiste.
En 2016, un grupo de investigadores realizó una compilación y análisis de los estudios realizados en este campo. Esta revisión de la literatura, publicada en la revista BMC Medical Research Methodology, halló que el “nivel de inconsistencia” mediano que hallaban estos estudios estaba en el 39%, aunque la variabilidad era alta: oscilaba entre un 4% y un 78%.
Puesto que no todos los errores son igualmente severos, esta revisión se fijó en los estudios que discriminaban las inconsistencias graves de las más leves. Observaron que la mediana en este caso era algo más baja, pero aún considerable, del 19%.
Estudios posteriores, como uno publicado este año en la revista The American Journal of Surgerycontinúan mostrando la existencia de esta tendencia en la literatura científica.
¿Qué es lo que ocurre entonces? ¿Están falseando sus datos los científicos? ¿O simplemente estamos siendo testigos de una importante acumulación de errores? Sabemos que los resúmenes de los artículos son determinantes a la hora de recibir citas de otros artículos académicos y que esta métrica es clave para la evaluación del trabajo científico para los autores. Pero la publicación misma de un artículo puede depender a veces de que sus resultados sean novedosos.
Es por eso que existe un incentivo a poner énfasis en algunos resultados y matizarlos más tarde. Un resultado no significativo puede hacer que los editores de la revista o los futuros lectores pierdan interés por el artículo, independientemente de la calidad real del estudio. El llamado sesgo de publicación (que alude a que los estudios con resultados diferentes a cero están sobrerrepresentados en la literatura científica) es también fruto de este interés por lo novedoso.
Clickbait académico
Los títulos de los artículos también han sido objeto de escrutinio en los últimos años. Consciente o inconscientemente, un titular llamativo puede resultar determinante a la hora de que nos interesemos más o menos por un estudio.
En 2016, un estudio publicado en la revista Frontiers in Psychology se hacía eco de este fenómeno. El análisis observó cómo la forma en la que se enunciaban los titulares afectaba al alcance que alcanzaba el estudio.
Gwilym Lockwood, autor del estudio, analizó más de 2.000 artículos académicos y observó que los títulos que enunciaban algo en un marco positivo tenían mejores métricas que la media. Por otra parte también halló que los trabajos que recurrían a juegos de palabra mostraban un peor desempeño. Los títulos que contenían preguntas, por su parte, no se desviaban de la media de forma significativa.
El problema de los abstractses uno de tantos a las que se deben enfrentar las editoriales científicas. Unas editoriales presionadas por escándalos de diversos tipos, desde los “molinos de artículos científicos” hasta los problemas con las tasas cobradas por la publicación o el acceso a sus contenidos.
La inteligencia artificial es uno de estos problemas, pero quizás también una potencial solución. En los últimos meses, y tras algún que otro escándalo, las editoriales científicas han ido integrando las herramientas de inteligencia artificial en la publicación científica, más allá de la labor que hayan podido desarrollar estas herramientas en el desarrollo mismo de la investigación. La inteligencia artificial tiene la capacidad, entre otras cosas, de generar resúmenes más “objetivos” o de detectar y corregir posibles errores y discrepancias entre textos y resúmenes.
Imagen | Sonia Radosz
–
La noticia
Unos investigadores han analizado qué dicen los resúmenes de los papers científicos. Hay bastante «clickbait»
fue publicada originalmente en
Xataka
por
Pablo Martínez-Juarez
.
– ¡Hola! Soy Nicolás Jiménez Silva, un apasionado por el mundo digital, el cine, el streaming, la tecnología y la ciencia. En este blog, exploro mis intereses, comparto mis opiniones y descubrimientos, y me sumerjo en las últimas tendencias. ¡Espero que disfrutes de la lectura!
Publicar comentario