Versió per a imprimir
Nicolás Robinson-Garcia
School of Public Policy
Georgia Institute of Technology (Estados Unidos)
Research Excellence Framework 2014: the results (2014). Higher Education Funding Council for England (HEFCE) … [et al.] 62 p. Disponible en: http://www.ref.ac.uk/2014/media/ref/content/pub/REF%2001%202014%20-%20fu.... [Consulta: 10/12/2017]
Empiezan a aparecer nuevas noticias sobre el REF2021, el ejercicio evaluativo más importante para el sistema científico en el Reino Unido. Se tratará de la segunda ocasión en la que se evalúa a las universidades británicas según el sistema actual. Aprovechando la proximidad de dicho ejercicio, comentaremos los resultados de su primera implementación, allá en 2014, e introduciremos algunas reflexiones sobre las importantes novedades que incorpora en el sistema de evaluación británico.
Recientemente, mi compañero Richard Woolley, investigador de INGENIO (CSIC-UPV), y servidor publicamos en el LSE impact blog un pequeño artículo de opinión sobre el Research Excellence Framework del Reino Unido conocido como el REF. Este ejercicio, cuya última edición sigue siendo motivo de continuo debate pese a haber transcurrido en 2014, es el proceso de evaluación de la actividad investigadora más importante del Reino Unido. Pese a su alto coste, alrededor de 250 millones de euros, distribuye más de un billón y medio de euros entre las universidades británicas, convirtiéndose su diseño, metodología e implementación en un tema de debate constante dentro del sistema universitario británico. Pese a la amplia tradición evaluativa del Reino Unido (sus primeros ejercicios de evaluación institucional datan de 1986), el año 2014 supuso todo un hito al revolucionar radicalmente tanto los métodos como los objetivos. En esta breve nota, revisaremos cómo funciona el REF, qué objetivos persigue y cuáles son los resultados obtenidos. Resumiremos las principales conclusiones derivadas de nuestros análisis en los resultados del REF. Finalmente, acabaremos con una pequeña reflexión sobre las importantes diferencias entre el sistema de evaluación de la investigación en España con el del Reino Unido.
El Reino Unido, un pionero en la evaluación de la actividad investigadora
Desde 1986, el Reino Unido se ha postulado como el gran pionero en apostar fuerte por fórmulas evaluativas, nunca exentas de polémicas, con el objetivo de incentivar la competencia entre instituciones. Contrariamente a lo que sucede en España, la evaluación se realiza a nivel institucional o departamental (ya que lo que se evalúan son «unidades de evaluación» dentro de áreas científicas). Dicho proceso evaluativo cuenta con paneles de evaluadores y exige por parte de las instituciones un importante esfuerzo tanto económico como humano. Cada unidad deberá seleccionar tanto personal a tiempo completo como publicaciones. En sus múltiples ediciones, ha sufrido notables modificaciones que reflejan los cambios de dirección y objetivos del país en materia de investigación.
En un principio, se evaluaba el número total de publicaciones. En 1996, se cambió la metodología con el fin de incentivar la producción de investigación de «calidad» (entendida como aquella altamente citada) frente a la «cantidad», introduciendo un número fijo de publicaciones a someter a evaluación. Sin embargo, y a pesar de continuados esfuerzos y modificaciones en las sucesivas ediciones, el entonces RAE, siguió premiando la productividad de los investigadores frente al impacto científico. Al mismo tiempo, las críticas empezaron a arreciar contra un sistema de evaluación cada vez más costoso. Entre otras cuestiones, destacamos aquí dos críticas. En primer lugar, cabía cuestionarse la necesidad de emplear la evaluación por pares cuando esta era fácilmente sustituible por indicadores bibliométricos, ya que el foco de atención era la publicación científica. Más dura era la crítica relativa a si una evaluación basada en la publicación científica tenía sentido y si realmente esta era la forma más adecuada de capturar la repercusión que tiene la investigación en la sociedad.
2014 fue un año clave en la evaluación de las universidades británicas. Atrás quedó el antiguo RAE, refundado y conocido ahora como REF. Dicho sistema de evaluación siguió manteniendo un apartado para publicaciones científicas, pero introdujo la variable de «impacto social» de la actividad investigadora. Un concepto ambiguo que se definió como «un efecto, cambio o beneficio económico, social, cultural, de política pública o servicios, a la salud, el medio ambiente o la calidad de vida más allá del académico». La tarea se complicaba, ya que los objetivos del REF ya no eran simplemente distribuir fondos o establecer un marco de comparación entre universidades, sino también producir evidencias de los beneficios públicos generados por la inversión en investigación. Para ello, se crearon 36 unidades de evaluación divididas en cuatro paneles (Ciencias Biomédicas y de la Salud; Ciencias Físicas, de la Vida e Ingeniería; Ciencias Sociales; Humanidades y Artes) a las que las universidades debían enviar tanto una selección de publicaciones como casos de estudio sobre su contribución social. Un verdadero experimento de laboratorio en el que los revisores de cada panel (formado tanto por científicos como por otros actores sociales) debían asesorar el impacto social de cada caso de estudio y puntuarlos de acuerdo a un sistema de cuatro estrellas, (siendo cuatro la puntuación más alta).
La temeridad fue extrema. Previamente, un comité de expertos en evaluación científica señaló la falta de indicadores cuantitativos para evaluar el impacto social. Esto hizo que todo el proceso quedara en manos de los paneles de expertos, que desplegaron un importante esfuerzo por dotarlo de la máxima transparencia1. El éxito en dicho modelo es aún incipiente y, aunque es loable el esfuerzo y cambio de dirección en la evaluación, quedan muchas preguntas en el aire sobre cómo se ha interpretado qué es impacto social. Tanto los resultados de la evaluación como la implementación de la misma han sido objeto de evaluación y de gran debate en la comunidad científica británica.
Excelencia científica versus relevancia social
Gran parte de la discusión se ha centrado en analizar cómo se ha interpretado el concepto de impacto social y su relación con indicadores bibliométricos o indicadores altmétricos. Asimismo, se tiende a buscar una relación positiva entre excelencia investigadora e impacto social, infiriendo no sólo que están relacionados, sino que dicha relación es deseable. En nuestros análisis sobre el REF, Richard y yo partíamos de una premisa totalmente distinta. La búsqueda de impacto social, por un lado, y excelencia investigadora por otro, abre la puerta a un escenario más heterogéneo y diverso de la actividad investigadora y de los distintos perfiles académicos que existen. Supongamos que el REF llevó a cabo una evaluación exhaustiva y veraz tanto del impacto social como de la producción científica. Supongamos que el impacto social es, de hecho, algo medible y positivo. Ahora, analicemos las universidades para cada unidad de evaluación. Lo que observamos es un escenario de lo más variopinto, donde no sólo la correlación entre actividad investigadora e impacto social no es para todas las unidades de evaluación alta (en algún caso, como el de Medicina Clínica, es hasta negativo), sino que existen sobrados casos de universidades con una alta puntuación en una y no en la otra.
Esto sugiere nuevos caminos y más heterogéneos para la evaluación. Supone abandonar el sistema lineal y homogéneo hasta ahora empleado de concebir la investigación, donde se premia a la (falsa) figura del investigador todoterreno, que excede en todos los ámbitos de la actividad académica (transferencia, investigación, docencia, administración…); y pasamos a otro donde existen diversos perfiles, todos ellos necesarios para enriquecer el sistema universitario.
¿Qué podemos aprender en España del REF2014?
España ha sido siempre un sistema complejo, donde la tensión al «café para todos» frente al reconocimiento al individuo ha favorecido un sistema caótico, burocrático y lleno de contradicciones. Contrasta la fuerza investigadora en bibliometría con la ignorancia y los fallos de bulto de nuestro sistema que parte de una evaluación individual que daña la colaboración y, por ende, la proyección internacional. El sistema británico es claramente imperfecto, parte de definiciones ambiguas y de una implementación de carácter más bien experimental. Sin embargo, cuenta con unos objetivos claramente definidos (la distribución de recursos) que pretenden fortalecer el sistema universitario y de investigación británico. Asimismo, se fomenta el debate en las cuestiones de fondo, con análisis pormenorizados y serios sobre los efectos de dicho sistema. En España, el objetivo de sistemas de evaluación como los sexenios o las acreditaciones es, cuando menos, dudoso convirtiéndose al final en una mera cuestión burocrática con un sentido más bien de monitorización que de mejora del sistema.
Queda cuestionarse si se trata de una excesiva atención a los criterios e indicadores empleados, que no permiten centrar la discusión en los objetivos de la evaluación. O, tal vez, simplemente se deba a que aún nos encontramos históricamente en un estadio anterior al británico. Sea la razón que sea, la experiencia británica es una gran oportunidad para observar los importantes cambios que están por venir en evaluación científica y reflexionar sobre si estamos siguiendo un camino adecuado a las demandas actuales de la sociedad.
1 Todas las minutas de las conversaciones así como los casos de estudio están disponibles en la web http://www.ref.ac.uk/2014/
