Versión para impresión
Sergio Villanueva Baselga
Responsable de Relaciones Internacionales
Jefe de Estudios del grado de Comunicación Audiovisual
Facultad de Información y Medios Audiovisuales
Universitat de Barcelona (UB)
Curry, Stephen; de Rijcke, Sarah; Hatch, Anna; Pillay, Dorsamy; Van der Weijden, Inge; Wilsdon, James (2020). The changing role of funders in responsable research assessment: progress, obstacles and the way ahead. London: Research on Research Institute. 63 p. (RoRI working paper; 3). Disponible en: <https://rori.figshare.com/articles/report/The_changing_role_of_funders_in_responsible_research_assessment_progress_
obstacles_and_the_way_ahead/13227914/1>. [Consulta: 27/01/2022].
Seguro que a nadie le sorprende que afirme que vivimos una época de academia acelerada, donde la presión por publicar a toda costa aumenta por momentos y en la que la existencia de tiempo para pensar y reflexionar es casi un mito. Esta situación tiene su origen, en gran parte, en los baremos bajos los cuales se evalúa la producción científica, que priorizan cantidad por encima de la calidad y la rapidez por encima del sosiego. El informe The changing role of funders in responsible research assessment: progress, obstacles and the way ahead se hace eco de esta situación y propone un nuevo camino hacia un sistema de evaluación de la investigación responsable en el que los financiadores de la ciencia tienen un papel clave.
El informe comienza con un diagnóstico de la situación que constata que el actual sistema de evaluación de la ciencia plantea cuatro grandes retos. El primero: la exacerbada e insostenible presión por publicar genera graves problemas de integridad, falta de reproducibilidad y reduce incentivos para explorar nuevas líneas de investigación. Esta problemática conduce al segundo reto, que es la falta de diversidad en las temáticas y objetivos de investigación, lo que lleva a las instituciones científicas a adoptar prioridades estratégicas muy similares y de bajo riesgo. El tercer problema también tiene que ver con la diversidad, pero en este caso en el seno de la comunidad científica. Los autores reconocen que existen sesgos sistémicos contra aquellos investigadores que no trabajan (o deciden no trabajar) sobre esas líneas de investigación estratégicas o no se adaptan a los estrechos criterios de evaluación, lo cual reduce la diversidad, vitalidad y legitimidad de toda la comunidad científica. Por último, el cuarto problema que detecta el informe es la exagerada atención que se pone desde las administraciones científicas a indicadores cuantitativos, abandonando otros criterios menos tangibles pero más importantes.
Ante estos problemas, los autores proponen un nuevo marco de evaluación responsable (Responsible Research Assessment, RRA) que promueva una ciencia más diversa y que incentive culturas de investigación más reflexivas, plurales y de alta calidad. Así, el marco RRA devendría el catalizador que empuje a los actores más relevantes del sistema científico a adoptar cambios en sus políticas de evaluación. Y entre estos actores, los agentes financiadores de la investigación son las instituciones más potentes para promover esta revolución. De este modo, los autores analizan 15 iniciativas que varios financiadores e instituciones a lo largo del planeta ya han impulsado y han comenzado a generar algunos frutos. Todas estas iniciativas pueden consultarse en el informe, pero a continuación se describen las más destacadas:
- DORA (The San Francisco Declaration on Research Assessment): declaración impulsada en 2012 y en 2020 ya firmada por 2.083 organizaciones, DORA ha generado un conjunto de herramientas y formaciones dirigidas a promover procesos de selección, tanto de proyectos de investigación como de recursos humanos, que promuevan la diversidad y la reflexión. Entre estas herramientas destaca la creación de un formato para un currículum científico narrativo que facilita la evaluación cualitativa por encima de indicadores cuantitativos y que valora un amplio abanico de contribuciones científicas más allá de las publicaciones.
- The Leiden Manifesto for Research Metrics: publicado en 2014 y nacido en el seno de la propia comunidad bibliométrica, expone diez principios para el uso de indicadores cuantitativos que promuevan una evaluación más diversa y plural.
- The Hong Kong Principles for Assessing Researchers: publicados en 2020, son cinco principios que están diseñados para ayudar a instituciones científicas a minimizar incentivos perversos y para reconocer y premiar una investigación ética, plural y confiable. Estos cinco principios son: (i) evaluar prácticas científicas responsables, (ii) valorar la totalidad de los informes, (iii) premiar la práctica de la ciencia abierta, (iv) reconocer un amplio espectro de actividades científicas más allá de la publicación, y (v) reconocer otras tareas fundamentales como la mentoría o la revisión por pares.
- Science Europe Position Statement on Research Assessment Processes: declaración publicada en 2022 con la intención de complementar la declaración DORA y el Leiden Manifesto, recoge una serie de recomendaciones para las instituciones científicas europeas. Entre estas destacan la necesidad de tener procesos de evaluación transparentes y claros; la metaevaluación constante de los procesos de selección para garantizar su robustez; la continua evaluación de sesgos y discriminaciones; la urgencia de revisar los contenidos de los productos de investigación; y el empuje para la apertura hacia nuevas técnicas de evaluación.
- Helsinki Initiative on Multilingualism and Scholarly Communication: iniciativa de 2019 que busca que se ponga en valor la comunicación en todas las lenguas posibles más allá del uso del inglés como lingua franca. A través de esta iniciativa se pretende un triple objetivo: apoyar la diseminación de conocimiento para la sociedad general, proteger las estructuras de publicación que se centran en problemas de proximidad locales o regionales, y promover la diversidad lingüística.
Como puede observarse, muchas de estas declaraciones y manifiestos se quedan en el nivel de recomendaciones y futuras líneas de trabajo, pero pocas hacen un esfuerzo por concretar herramientas de evaluación o nuevos ítems de evaluación. Así, tan solo la declaración DORA, con su propuesta por un currículum científico narrativo, y la iniciativa Helsinki, con sus nuevos indicadores para promover el multilingüismo en la comunicación de la ciencia, hacen aportaciones más allá de la recomendación. Sin embargo, cabe destacar el intento de todas estas iniciativas por impulsar cambios en las políticas de evaluación y promover el uso y creación de herramientas innovadoras que resten foco a las publicaciones científicas como fines en sí mismos y lo trasladen a una visión más amplia, plural y diversa del hacer científico.
Tras revisar estas iniciativas, los autores del informe exponen los resultados de una encuesta realizada a más de 50 organizaciones del Global Research Council (GRC), una alianza de agencias e instituciones nacionales financiadoras de la ciencia que se generó en 2012 con el objetivo de promover y compartir mejores prácticas en financiación de la investigación. Entre las instituciones que respondieron la encuesta, la declaración DORA y las recomendaciones Science Europe son los marcos de evaluación responsable más populares, mientras que el Leiden Manifesto o los Hong Kong Principles eran muy minoritarios. Desafortunadamente, no se recogieron datos sobre la Helsinki Initiative.
La mayor parte de estas instituciones afirman que el método de selección que más utilizan son las revisiones por paneles de expertos externos (external panel review), seguido de la revisión ciega por expertos (external single-blind review). Más del 70 % de las instituciones hacen algunos ajustes a los criterios de evaluación según las disciplinas y seleccionan evaluadores con diferentes perfiles disciplinares, pero menos del 10 % reconocen incluir cuotas de disciplina, sexo, edad u origen racial. Sobre los indicadores que tienen en cuenta para estos procesos de evaluación, que pueden verse en la gráfica 1, cabe destacar la preeminencia de las publicaciones y de proyectos de investigaciones pasados, pero también de otros resultados de investigación no publicables. Entre estos ítems destacan el desarrollo de software, código o algoritmos (65 %), bases de datos (58 %), hardware (48 %), audios, vídeos y otro material audiovisual (42 %) y protocolos y manuales (31 %). Llama la atención, también, la intención de muchas de estas instituciones por incluir, en el futuro, indicadores sobre publicaciones en acceso abierto, curación de datos e internacionalización.
Gráfica 1: Indicadores de evaluación científica (p. 33)
Respecto a los planes de cambio, la mayor parte de las instituciones consultadas, un 76 %, reconocen querer dejar atrás sistemas de evaluación centrados en métricas basadas en publicaciones y pasar a considerar otros indicadores focalizados en la calidad de los contenidos. Algunas de estas instituciones ya han implementado el sistema de currículum narrativo propuesto por la declaración DORA o similares, y más de un tercio está pensando en implementar un sistema parecido. Por último, cabe destacar que algunas de estas organizaciones han empezado a experimentar con nuevos sistemas de evaluación, como los dobles ciegos o las revisiones abiertas. Llama poderosamente la atención que tres instituciones europeas están experimentando con un sistema de aleatorización o lotería, en el que, tras un proceso de evaluación por un panel de expertos, la decisión final se toma por sorteo.
Como conclusión, los autores del informe ven muchas razones para el optimismo, ya que parece haber una creciente cultura entre las instituciones financiadoras de la investigación por promover un cambio en la ciencia que se lleva a cabo en la actualidad, promoviendo una ciencia más íntegra, diversa, plural y reflexiva. Además, constatan cómo este ímpetu se ha acelerado con la pandemia de la COVID-19 y su respuesta transdisciplinar. Sin embargo, aún se ven muchas barreras al desarrollo completo de marcos de evaluación responsable debido a la tradicional resistencia al cambio de las instituciones científicas o la falta de motivadores extrínsecos procedentes de las instituciones políticas. Para finalizar, los autores piden que no se generen nuevos marcos de evaluación responsable ad hoc, sino que se sistematicen e interrelacionen las iniciativas ya vigentes, con el fin de aunar esfuerzos y promover conjuntamente un cambio cultural que tiene como objetivo mejorar cómo hacemos ciencia y en qué condiciones la ejecutamos.
