Versió per a imprimir
Llorenç Arguimbau Vivó
Observatori de la Recerca (OR-IEC)
Institut d’Estudis Catalans
Higher Education Funding Council for England (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Disponible en: http://bit.ly/TheMetricTide. [Consulta: 02/11/2015].
Este informe ha sido redactado por un grupo de trabajo independiente y multidisciplinario, integrado por expertos en cienciometría y bibliometría, financiación de la investigación, política científica, publicación y, por último, gestión y administración universitaria. El grupo de trabajo ha realizado una amplia revisión bibliográfica (Suplemento I) y ha consultado a los agentes implicados mediante encuentros y talleres. Impulsado por el Higher Education Funding Council for England (HEFCE), el estudio se enmarca en el Research Excellence Framework (REF), el sistema de evaluación de la calidad de la investigación en las universidades británicas.
Los autores consideran que corrientes poderosas hacen crecer el nivel de uso de indicadores cuantitativos aplicados a la evaluación y gestión de la investigación porque, evidentemente, los datos ayudan a tomar decisiones. Ahora bien, determinadas cualidades académicas se resisten a ser cuantificadas y el uso indiscriminado de indicadores puede desvirtuar la riqueza y pluralidad de la investigación. Las métricas son instrumentos poderosos que es preciso utilizar cuidadosamente, como ya han puesto de manifiesto la San Francisco Declaration on Research Assessment (DORA) (http://www.ascb.org/dora) o el Leiden Manifesto for Research Metrics (http://www.leidenmanifesto.org). En esta línea, el informe propone un uso responsable de las métricas, y hace una serie de recomendaciones específicas para garantizar que los indicadores y las infraestructuras de datos subyacentes se desplieguen para dar apoyo real a la calidad e impacto de la investigación.
El alcance del estudio se centra en una visión en profundidad de los usos y limitaciones potenciales de los indicadores y métricas, a través de diferentes disciplinas y valorando su contribución al impacto y excelencia de la investigación. Además, se consideran las diferentes vías de uso de los indicadores cuantitativos en los sistemas de gestión y evaluación universitaria, así como el poder creciente de los ránkings institucionales.
La descripción, producción y consumo creciente de métricas genera discusiones y malentendidos dentro de la comunidad científica. El uso extenso de indicadores cuantitativos puede ser positivo, pero poner demasiado énfasis en indicadores diseñados pobremente (como, por ejemplo, el factor de impacto de las revistas) resulta contraproducente. En este sentido, el informe aporta las recomendaciones siguientes, dirigidas a diferentes agentes:
a) Investigadores: deben ser conscientes de las limitaciones de los indicadores individuales.
b) Responsables institucionales y gestores de investigación: deben establecer principios claros de gestión y evaluación, así como el uso responsable de las métricas.
c) Gestores y paneles de reclutamiento y promoción: deben explicitar los criterios usados para las decisiones de nombramiento y promoción académica.
d) Agentes financiadores: deben desarrollar bases sólidas para usar indicadores.
e) Proveedores de datos, analistas y productores de ránkings: deben impulsar una mayor transparencia e interoperabilidad entre los diferentes sistemas.
f) Editores: deben reducir el énfasis en los factores de impacto de las revistas y usarlos tan solo en un contexto con métricas multidimensionales.
A pesar de los defectos y limitaciones, la revisión por pares sigue contando con un amplio apoyo en todas las disciplinas. Por tanto, las métricas seleccionadas y aplicadas con atención deben complementar, nunca substituir, las opiniones de los expertos. La revisión por pares no es perfecta pero es la forma menos lesiva para evaluar artículos, proyectos de investigación y planes nacionales, donde siempre hay que tener en cuenta el contexto científico y la diversidad de disciplinas. Así, el análisis correlacional de los resultados del REF 2014 (Suplemento II) a escala micro (investigadores) demuestra que las métricas individuales presentan diferencias significativas con los procesos de revisión por pares y que, por tanto, no los pueden substituir. Actualmente, no es suficientemente fiable valorar la cualidad científica únicamente mediante indicadores cuantitativos.
También deben preverse los efectos negativos o inesperados de las métricas. Las consecuencias potenciales deben ser identificadas, reconocidas y enderezadas. Además, es necesaria una mayor transparencia en la construcción y uso de indicadores, sobre todo por lo que a los ránkings universitarios se refiere.
Los indicadores solo pueden alcanzar su potencial si están apoyados por una infraestructura de datos transparente, abierta e interoperable. Es crucial la forma como los datos subyacentes a los indicadores son recogidos, procesados y abiertos a la consulta. Sin estándares e identificadores únicos (ORCID para los investigadores, ISNI para las instituciones y DOI para los resultados), existe el riesgo de usar indicadores confusos o poco sólidos. Los sistemas de universidades, financiadores y editores deben ser capaces de operar entre ellos y las definiciones de los conceptos de investigación deben armonizarse.
Por otra parte, es necesaria más investigación sobre la investigación porque el estudio de los sistemas científicos no presenta bases suficientemente sólidas. Además, las métricas innovadoras parecen todavía bastante limitadas. Por tanto, existe un campo potencial para que la comunidad cienciométrica (incluida la bibliometría y la documentación científica) juegue un papel más estratégico a partir de la observación del uso de indicadores cuantitativos.
Finalmente, el informe propone el concepto de “Métrica responsable” como un marco apropiado para usar indicadores en el gobierno, gestión y evaluación de la investigación. El concepto corresponde a cinco dimensiones: (1) Robustez: basar métricas en los mejores datos posibles en precisión y alcance; (2) Humildad: reconocer que la evaluación cuantitativa debe apoyar, no suplantar, la evaluación cualitativa de los expertos; (3) Transparencia: mantener abiertos la recogida de datos y los procesos de análisis, de manera que los evaluados puedan probar y verificar los resultados; (4) Diversidad: usar una serie de indicadores para reflejar la pluralidad de la investigación y de las carreras investigadoras en todo el sistema; y, por último, (5) Reflexividad: reconocer y anticipar los efectos sistémicos y potenciales de los indicadores.
Para desarrollar el programa establecido en el informe, los autores recomiendan crear un fórum de “Métrica responsable” con los financiadores, universidades, editores, proveedores de datos y otros agentes para trabajar en temas como estándares, interoperabilidad, apertura y transparencia. Por ahora, el debate continúa abierto en Internet (http://www.responsiblemetrics.org).
