Versió per a imprimir
Llorenç Arguimbau Vivó
Observatori de la Recerca (OR-IEC)
Institut d’Estudis Catalans
Higher Education Funding Council for England (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Disponible a: http://bit.ly/TheMetricTide. [Consulta: 02/11/2015].
Aquest informe ha estat redactat per un grup de treball independent i multidisciplinari, integrat per experts en cienciometria i bibliometria, finançament de la recerca, política científica, publicació i, per últim, gestió i administració universitària. El grup de treball ha realitzat una àmplia revisió bibliogràfica (Suplement I) i ha consultat els agents implicats mitjançant trobades i tallers. Impulsat pel Higher Education Funding Council for England (HEFCE), l’estudi s’emmarca en el Research Excellence Framework (REF), el sistema d’avaluació de la qualitat de la recerca a les universitats britàniques.
Els autors consideren que corrents poderosos fan créixer el nivell d’ús d’indicadors quantitatius aplicats a l’avaluació i gestió de la recerca perquè, evidentment, les dades ajuden a prendre decisions. Ara bé, determinades qualitats acadèmiques es resisteixen a ser quantificades i l’ús indiscriminat d’indicadors pot desvirtuar la riquesa i pluralitat de la recerca. Les mètriques són instruments poderosos que cal utilitzar de forma acurada, com ja han posat de manifest la San Francisco Declaration on Research Assessment (DORA) (http://www.ascb.org/dora) o el Leiden Manifesto for Research Metrics (http://www.leidenmanifesto.org). En aquesta línia, l’informe proposa un ús responsable de les mètriques, i fa una sèrie de recomanacions específiques per garantir que els indicadors i les infraestructures de dades subjacents es despleguin per donar suport real a la qualitat i impacte de la recerca.
L’abast de l’estudi se centra en una visió aprofundida dels usos i limitacions potencials dels indicadors i mètriques, a través de diferents disciplines i valorant la seva contribució a l’impacte i excel·lència de la recerca. A més, es consideren les diferents vies d’ús dels indicadors quantitatius en els sistemes de gestió i avaluació universitària, així com el poder creixent dels rànquings institucionals.
La descripció, producció i consum creixent de mètriques genera discussions i malentesos dins de la comunitat científica. L’ús extens d’indicadors quantitatius pot ser positiu, però posar massa èmfasi en indicadors dissenyats pobrament (com, per exemple, el factor d’impacte de les revistes) resulta contraproduent. En aquest sentit, l’informe aporta les recomanacions següents, adreçades a diferents agents:
a) Investigadors: han de ser conscients de les limitacions dels indicadors individuals.
b) Responsables institucionals i gestors de recerca: han d’establir principis clars de gestió i avaluació, així com l’ús responsable de les mètriques.
c) Gestors i panells de reclutament i promoció: han d’explicitar els criteris usats per a les decisions de nomenament i promoció acadèmica.
d) Agents finançadors: han de desenvolupar bases sòlides per usar indicadors.
e) Proveïdors de dades, analistes i productors de rànquings: han d’impulsar una major transparència i interoperabilitat entre els diferents sistemes.
f) Editors: han de reduir l’èmfasi en els factors d’impacte de les revistes i usar-los només en un context amb mètriques multidimensionals.
Malgrat els defectes i limitacions, la revisió per parells segueix comptant amb un ampli suport en totes les disciplines. Per tant, les mètriques seleccionades i aplicades amb cura han de complementar, mai substituir, les opinions dels experts. La revisió per parells no és perfecta però és la forma menys lesiva per avaluar articles, projectes d’investigació i plans nacionals, on sempre cal tenir en compte el context científic i la diversitat de disciplines. Així, l’anàlisi correlacional dels resultats del REF 2014 (Suplement II) a escala micro (investigadors) demostra que les mètriques individuals presenten diferències significatives amb els processos de revisió per parells i que, per tant, no els poden substituir. Actualment, no és prou fiable valorar la qualitat científica únicament mitjançant indicadors quantitatius.
També cal preveure els efectes negatius o inesperats de les mètriques. Les conseqüències potencials han de ser identificades, reconegudes i redreçades. A més, cal una major transparència en la construcció i ús d’indicadors, sobretot pel que fa als rànquings universitaris.
Els indicadors només poden assolir el seu potencial si estan suportats per una infraestructura de dades transparent, oberta i interoperable. És crucial la forma com les dades subjacents als indicadors són recollides, processades i obertes a la consulta. Sense estàndards i identificadors únics (ORCID per als investigadors, ISNI per a les institucions i DOI per als resultats), existeix el risc d’usar indicadors confusos o poc sòlids. Els sistemes d’universitats, finançadors i editors han de ser capaços d’operar entre ells i les definicions dels conceptes de recerca han d’harmonitzar-se.
D’altra banda, és necessària més recerca sobre la recerca perquè l’estudi dels sistemes científics no presenta bases prou sòlides. A més, les mètriques innovadores semblen encara força limitades. Per tant, existeix un camp potencial perquè la comunitat cienciomètrica (inclosa la bibliometria i la documentació científica) jugui un paper més estratègic a partir de l’observació de l’ús d’indicadors quantitatius.
Finalment, l’informe proposa el concepte de “Mètrica responsable” com un marc apropiat per usar indicadors en el govern, gestió i avaluació de la recerca. El concepte correspon a cinc dimensions: (1) Robustesa: basar mètriques en les millors dades possibles en precisió i abast; (2) Humilitat: reconèixer que l’avaluació quantitativa ha de donar suport, no suplantar, l’avaluació qualitativa dels experts; (3) Transparència: mantenir oberts la recollida de dades i els processos d’anàlisi, de manera que els avaluats puguin provar i verificar els resultats; (4) Diversitat: usar una sèrie d’indicadors per reflectir la pluralitat de la recerca i de les carreres investigadores en tot el sistema; i, per últim, (5) Reflexivitat: reconèixer i anticipar els efectes sistèmics i potencials dels indicadors.
Per desenvolupar el programa establert a l’informe, els autors recomanen crear un fòrum de “Mètrica responsable” amb els finançadors, universitats, editors, proveïdors de dades i altres agents per treballar en temes com estàndards, interoperabilitat, obertura i transparència. Ara per ara, el debat continua obert a Internet (http://www.responsiblemetrics.org).
