Versió per a imprimir
Alexandre López-Borrull
Estudios de Ciencias de la Información y de la Comunicación
Director del grado de Información y Documentación
Universitat Oberta de Catalunya (UOC)
Biagioli, Mario; Lippman, Alexandra (eds.) (2020). Gaming the metrics: misconduct and manipulation in academic research. London; Cambridge; The MIT Press. VII, 297 p. Disponible en: <https://mitpress.mit.edu/9780262537933/gaming-the-metrics/>. [Consulta: 20/10/2022].
Todos hemos leído novelas incómodas que, por un motivo u otro, sacuden. En este caso, la lectura de esta monografía inquieta porque resulta el elefante en la habitación que, a veces, no quiere verse en la ciencia. En ocasiones, cuando nos movemos en la trinchera de la desinformación y las teorías negacionistas que afectan al buen trabajo y al prestigio de científicos, hay que mirar atrás para darnos cuenta de que no es oro todo lo que reluce, y ahora no me refiero a la vía dorada del acceso abierto. La ciencia es una más de las actividades humanas y, por tanto, hay que tomar lo que aquí menciono como lado oscuro.
Ya en la introducción, los dos editores argumentan que aludir solo a la presión para publicar («publish or perish») no es suficiente para entender el fraude y la manipulación en ciencia, y que esta nueva forma de medir y entender la actividad científica se convierte, en palabras suyas, en «impact or perish». De hecho, van más allá al afirmar que la creciente dependencia de las métricas institucionales de evaluación no tan solo proporciona incentivos para este tipo de manipulaciones, sino que también crea sus condiciones de posibilidad. No hubieran nacido si no hubiese sido por la nueva «cultura de la auditoría» basada en métricas de la academia. Así pues, en un mundo imperfecto las políticas científicas no solo marcan lo que hay que publicar, cómo y dónde, sino que también sucede el «hecha la ley, hecha la trampa» en versión académica y digital.
Como en muchos otros ámbitos, la esfera digital, de métricas y nuevas capacidades, amplía el abanico de formas de fraude. Y este es parte del interés de esta monografía, porque actualiza las formas de toda la vida y las pone en diálogo con las nuevas. Pero ni enamoran las viejas ni se exaltan las nuevas. De nuevo, el riesgo de conocer y reconocer estas formas de fraude debe hacer reflexionar sobre la vigencia o la confianza en métricas alternativas que pueden ser más fácilmente manipulables. Es decir, todavía hoy, es más fácil automatizar descargas que insertar citas en artículos científicos. Y hablamos de artículos justamente porque una de las ideas que permanecen es el hecho que resulta todavía la medida de las cosas en ciencia, el patrón oro que permite no tan solo el intercambio de conocimiento sino también la comunicación y la comparación (y la evaluación) entre científicos. También hay que poner énfasis en que no solo hablamos de malas prácticas del colectivo investigador, sino también por parte de universidades y centros de investigación en su intento de sobresalir en los famosos ránquings. En cualquier caso, tal y como afirman los autores, el mismo concepto «fake» o «predatory» no describe de forma suficientemente cuidadosa algunas prácticas, como por ejemplo las que tienen lugar en algunos congresos que podríamos llamar sacacuartos con poco valor académico y mucho de certificación vía publicación en revistas poco conocidas.
Los diferentes capítulos se agrupan en cuatro grandes ámbitos:
I. Más allá y antes de las métricas
Para mí, es el capítulo central porque trata el elemento actual de debate y reflexión alrededor de las métricas, en la idea de la evaluación, y entronca con el análisis de la necesidad de más ciencia abierta y de un cambio en la fórmula de evaluar la ciencia. Y lo hace siendo crítico desde los inicios de la propia bibliometría o cienciometría, poniendo el dedo en la llaga, como cuando en el primer capítulo menciona la carta que Robert Merton escribe a Eugene Garfield, avisándole de que habrá un desplazamiento de objetivos si la cienciometría deja de utilizarse para mapear la actividad científica y se convierte en el elemento de evaluación y recompensa del ejercicio de los científicos.
En otro capítulo trata de un tema necesario como es la transformación del artículo científico desde la expresión y vehículo del conocimiento científico al instrumento de contabilidad de la actividad científica.
Me ha llamado también la atención el ejemplo de la lógica del impacto en el Reino Unido con una conclusión compleja, y es que «...otra característica paradójica del régimen de impacto en el Reino Unido: como más impacto tengas, más difícil será explicarlo» (en el sentido de account). Y se relaciona con el campo de las métricas alternativas. Es decir, en este capítulo, se tratan las distorsiones que pueden llevar al lado oscuro de las métricas, pero también que las nuevas cosas (la medida del impacto) tienen también déficits. Posiblemente, como en muchos aspectos de la monografía, se recogen más los problemas que las soluciones, pero justamente en este momento lo hace interesante. También como, en palabras de Wouters en uno de los capítulos, nos hace observar que «Dado que los investigadores se han percatado, a gran escala, de que sus bibliografías pueden influir en las carreras de los investigadores que citan, su ‘comportamiento de cita’ se verá afectado por este conocimiento». Y es él precisamente quien menciona como propuesta las métricas de investigación responsables (responsible research metrics), que se ofrecen como soluciones de futuro.
II. Manipulaciones colaborativas
En este apartado, se incluyen diversos capítulos que tratan sobre malas prácticas legales y morales que pueden llevarse a cabo de forma colectiva, no solo en el campo de la investigación sino creando, por ejemplo, redes de citas, buscando científicos para firmar informes o artículos con conflictos de intereses por parte de la industria, los autores fantasma o, sobre todo, las editoriales y revistas predadoras. Por lo tanto, se tratan las prácticas que, de alguna forma, emergen de las reglas de juego que se han apuntado en el apartado anterior, y que de alguna manera las invalidan. También se incluyen las referidas a las universidades y centros de investigación en su afán por salir más bien situados en los diferentes ránquings.
III. Intervenciones desde el campo
Este apartado tiene mucho valor por sí solo dado que trata quién hace qué para detectar y luchar contra estas malas prácticas. Aparece descrita la gente de Retraction Watch y la plataforma PubPeer, donde pueden hacerse ejercicios de postpublicación y que muchas veces ha destapado la olla de artículos que han sido finalmente retirados. Alguno de los capítulos habla de trucos utilizados por científicos para poner en relieve algunas disfunciones del sistema, como la creación de artículos generados por inteligencia artificial («Ike Antkare») que, un vez aceptados, demuestran cómo Google Scholar puede ser también manipulado. Otro: la facilidad para entrar en determinados consejos editoriales por parte de científicos que no existen. Es el apartado que más angustia genera porque ejemplifica las malas prácticas y la dificultad de filtrar y controlar, ya sea por las prisas o, sobre todo, porque no se considera lo suficientemente relevante.
IV. Imitación para la parodia y el provecho
Finalmente, este apartado incluye una serie de capítulos dedicados a algunos de los ámbitos próximos a la fake science, los ámbitos donde es posible falsear la ciencia. En algún caso, emerge alguna idea de cómo se ven las revistas predadoras, y quién puede caer más fácilmente, y considera, cosa relevante para mí, cómo es la incapacidad de publicar en revistas del norte global para el sur global, como posible explicación de por qué algunos países son los que, sistemáticamente, aparecen en los estudios sobre quien publica en revistas predadoras. Así pues, es importante conocer las causas, y no solo las consecuencias. Curiosamente, también hay un capítulo dedicado a los falsos repositorios, los fake archives, creados para engañar a los autores pensando que están publicando en arXiv, por ejemplo. Y, a partir de aquí, se abre un debate siempre necesario, que el activismo y la promoción de la ciencia abierta debe tener claro y que ya se encuentra sobre la mesa desde hace más de 20 años: el acceso abierto. La ciencia abierta no es una excusa para rebajar el nivel o la calidad académica, ni un marco mental para justificar malas prácticas en nombre de la accesibilidad, la interoperabilidad o la recuperación. FAIR es fair, pero siempre de forma ética.
A modo de cierre, podemos decir que se trata de una monografía interesante:
- Para el colectivo científico, para ver cómo la dinámica científica tiene sus puntos oscuros, por necesidad, ambición o dejadez. Esto debe permitir también aportar en el debate sobre cómo queremos ser evaluados en nuestro ejercicio. Sí, la ciencia abierta no es la causa de estos problemas, sino que es un paradigma donde muchos pueden ser resueltos, con los cambios en la evaluación de la investigación, pero también en la revisión por pares en abierto.
- Para las bibliotecas universitarias en general, para tener una idea de las malas prácticas que pueden afectar a los investigadores. Nadie da Q1 a cuatro pesetas, podríamos decir, así que hay que estar al acecho en el apoyo al colectivo investigador.
- Para el colectivo de profesionales de la información dado que muchas de estas formas de evaluar forman parte del que ha sido nuestro ámbito de investigación y si investigadores como Emilio Delgado-López-Cózar han hecho algún tipo de autocrítica, en la dinámica entre ser parte del problema, está claro que podemos aportar en el ámbito de ser parte de la solución y ayudar en la promoción de métricas responsables, que nos expliquen más y mejor.
© Imagen inicial de Nick Magwood en Pixabay.
