Versió per a imprimir
Nicolás Robinson-Garcia
School of Public Policy
Georgia Institute of Technology (Estats Units)
Research Excellence Framework 2014: the results (2014). Higher Education Funding Council for England (HEFCE) … [et al.] 62 p. Disponible a: http://www.ref.ac.uk/2014/media/ref/content/pub/REF%2001%202014%20-%20fu.... [Consulta: 10/12/2017]
Comencen a aparèixer noves notícies sobre el REF2021, l’exercici avaluatiu més important per al sistema científic al Regne Unit. Es tractarà de la segona ocasió en què s’avalua les universitats britàniques segons el sistema actual. Aprofitant la proximitat d’aquest exercici, comentarem els resultats de la seva primera implementació, el 2014, i introduirem algunes reflexions sobre les importants novetats que incorpora en el sistema d’avaluació britànic.
Recentment, el meu company Richard Woolley, investigador d’INGENIO (CSIC-UPV), i un servidor vam publicar al LSE impact blog un petit article d’opinió sobre el Research Excellence Framework del Regne Unit conegut com el REF. Aquest exercici, l’última edició del qual segueix sent motiu de continu debat malgrat haver transcorregut el 2014, és el procés d’avaluació de l’activitat investigadora més important del Regne Unit. Tot i el seu alt cost, al voltant de 250 milions d’euros, distribueix més d’un bilió i mig d’euros entre les universitats britàniques, convertint-se el seu disseny, metodologia i implementació en un tema de debat constant dins del sistema universitari britànic. Malgrat l’àmplia tradició avaluativa del Regne Unit (els seus primers exercicis d’avaluació institucional daten del 1986), l’any 2014 va suposar tota una fita al revolucionar radicalment tant els mètodes com els objectius. En aquesta breu nota, revisarem com funciona el REF, quins objectius persegueix i quins són els resultats obtinguts. Resumirem les principals conclusions derivades de les nostres anàlisis en els resultats del REF. Finalment, acabarem amb una petita reflexió sobre les importants diferències entre el sistema d’avaluació de la recerca a Espanya amb el del Regne Unit.
El Regne Unit, un pioner en l’avaluació de l’activitat en recerca
Des del 1986, el Regne Unit s’ha postulat com el gran pioner a apostar fort per fórmules avaluatives, mai exemptes de polèmiques, amb l’objectiu d’incentivar la competència entre institucions. Contràriament al que succeeix a Espanya, l’avaluació es realitza en l’àmbit institucional o departamental (donat que el que s’avaluen són «unitats d’avaluació» dins d’àrees científiques). Aquest procés avaluatiu compta amb panels d’avaluadors i exigeix per part de les institucions un important esforç tant econòmic com humà. Cada unitat haurà de seleccionar tant personal a temps complet com publicacions. En les seves múltiples edicions, ha sofert notables modificacions que reflecteixen els canvis de direcció i objectius del país en matèria de recerca.
Al principi, s’avaluava el nombre total de publicacions. El 1996, es va canviar la metodologia amb la finalitat d’incentivar la producció de recerca de «qualitat» (entesa com aquella altament citada) enfront de la «quantitat», introduint un nombre fix de publicacions a sotmetre a avaluació. No obstant, i malgrat continuats esforços i modificacions en les successives edicions, l’aleshores RAE, va seguir premiant la productivitat dels investigadors enfront del impacte científic. Al mateix temps, les crítiques van començar a créixer contra un sistema d’avaluació cada cop més costós. Entre d’altres qüestions, destaquem aquí dues crítiques. En primer lloc, s’hauria de qüestionar la necessitat d’emprar l’avaluació d’experts quan aquesta era fàcilment substituïble per indicadors bibliomètrics, donat que el focus d’atenció era la publicació científica. Més dura era la crítica relativa a si una avaluació basada en la publicació científica tenia sentit i si realment aquesta era la forma més adequada de capturar la repercussió que té la recerca en la societat.
2014 fou un any clau en l’avaluació de les universitats britàniques. Enrere va quedar l’antic RAE, refundat i conegut ara com a REF. Aquest sistema d’avaluació va seguir mantenint un apartat per a publicacions científiques, però va introduir la variable d’«impacte social» de l’activitat en recerca. Un concepte ambigu que es va definir com «un efecte, canvi o benefici econòmic, social, cultural, de política pública o serveis, a la salut, el medi ambient o la qualitat de vida més enllà de l’acadèmic». La tasca es complicava, ja que els objectius del REF ja no eren simplement distribuir fons o establir un marc de comparació entre universitats, sinó també produir evidències dels beneficis públics generats per la inversió en recerca. Per això, es van crear 36 unitats d’avaluació dividides en quatre panels (Ciències Biomèdiques i de la Salut; Ciències Físiques, de la Vida i Enginyeria; Ciències Socials; Humanitats i Arts) a las quals les universitats havien d’enviar tant una selecció de publicacions com casos d’estudi sobre la seva contribució social. Un veritable experiment de laboratori en el qual els revisors de cada panel (format tant per científics com per d’altres actors socials) havien d’assessorar l’impacte social de cada cas d’estudi i puntuar-los d’acord a un sistema de quatre estrelles, (essent quatre la puntuació més alta).
La temeritat fou extrema. Prèviament, un comitè d’experts en avaluació científica va senyalar la falta d’indicadors quantitatius per avaluar l’impacte social. Això va fer que tot el procés quedés en mans dels panels d’experts, que van desplegar un important esforç per dotar-lo de la màxima transparència1. L’èxit en aquest model és encara incipient i, per bé que és lloable l’esforç i canvi de direcció en l’avaluació, queden moltes preguntes en l’aire sobre com s’ha interpretat què és impacte social. Tant els resultats de l’avaluació com la seva implementació han estat objecte d’avaluació i de gran debat a la comunitat científica britànica.
Excel·lència científica versus rellevància social
Gran part de la discussió s’ha centrat a analitzar de quina manera s’ha interpretat el concepte d’impacte social i la seva relació amb indicadors bibliomètrics o indicadors altmètrics. Així mateix, es tendeix a buscar una relació positiva entre excel·lència investigadora i impacte social, inferint no només que estan relacionats, sinó que aquesta relació és desitjable. En les nostres anàlisis sobre el REF, Richard i jo partíem d’una premissa totalment diferent. La cerca d’impacte social, d’una banda, i excel·lència investigadora de l’altra, obre la porta a un escenari més heterogeni i divers de l’activitat investigadora i dels diferents perfils acadèmics que existeixen. Suposem que el REF va dur a terme una avaluació exhaustiva i veraç tant de l’impacte social com de la producció científica. Suposem que l’impacte social és, de fet, una cosa mesurable i positiva. Ara, analitzem les universitats per a cada unitat d’avaluació. El que observem és un escenari d’allò més variat, on no només la correlació entre activitat investigadora i impacte social no és per a totes les unitats d’avaluació alta (en algun cas, com el de Medicina Clínica, és fins i tot negatiu), sinó que existeixen sobrats casos d’universitats amb una alta puntuació en una i no en l’altra.
Això suggereix nous camins i més heterogenis per a l’avaluació. Suposa abandonar el sistema lineal i homogeni fins ara emprat de concebre la recerca, on es premia la (falsa) figura de l’investigador tot terreny, que sobresurt en tots els àmbits de l’activitat acadèmica (transferència, recerca, docència, administració…); i passem a un altre on existeixen diversos perfils, tots ells necessaris per enriquir el sistema universitari.
Què podem aprendre a Espanya del REF2014?
Espanya ha estat sempre un sistema complex, on la tensió al «cafè per a tots» davant del reconeixement a l’individu ha afavorit un sistema caòtic, burocràtic i ple de contradiccions. Contrasta la força investigadora en bibliometria amb la ignorància i els errors majúsculs del nostre sistema que parteix d’una avaluació individual que perjudica la col·laboració i, per tant, la projecció internacional. El sistema britànic és clarament imperfecte, parteix de definicions ambigües i d’una implementació de caràcter més aviat experimental. No obstant, compta amb uns objectius clarament definits (la distribució de recursos) que pretenen enfortir el sistema universitari i de recerca britànic. Així mateix, es fomenta el debat en les qüestions de fons, amb anàlisis detallades i serioses sobre els efectes d’aquest sistema. A Espanya, l’objectiu de sistemes d’avaluació com els sexennis o les acreditacions és, com a mínim, dubtós, convertint-se al final en una mera qüestió burocràtica amb un sentit més aviat de monitorització que de millora del sistema.
Queda qüestionar-se si es tracta d’una excessiva atenció als criteris i indicadors emprats, que no permeten centrar la discussió en els objectius de l’avaluació. O, potser, simplement sigui perquè encara ens trobem històricament en un estadi anterior al britànic. Sigui per la raó que sigui, l’experiència britànica és una gran oportunitat per observar els importants canvis que estan per venir en avaluació científica i reflexionar sobre si estem seguint un camí adequat a les demandes actuals de la societat.
1 Totes les minutes de les converses com també els casos d’estudi estan disponibles a la web http://www.ref.ac.uk/2014/
