Versió per a imprimir
Ángel M. Delgado-Vázquez
Cap del Servicio de Soporte al Aprendizaje y la Investigación
Biblioteca/CRAI
Universidad Pablo de Olavide
ORCID: 0000-0003-2461-8553
@amdelvaz
Towards a reform of the research assessment system: scoping report (2021). European Commission, Directorate-General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 29/06/2022].
Plega a Dios, Sancho, que así sea, porque del dicho al hecho hay gran trecho.
El passat novembre la Comissió Europea, a través de la Direcció General per a la Recerca i la Innovació va fer públic un document que, sota el suggeridor títol de Towards a reform of the research assessment system, posa sobre la taula algunes de les qüestions sobre les quals s’està debatent en els darrers temps de manera intensa. La seva principal motivació és la necessitat d’impulsar una acceleració dels canvis que en el sistema d’avaluació científica s’estan produint, per bé que encara de manera tímida. L’altre objectiu és el de comptar amb un marc comú que pugui d’alguna manera homogeneïtzar la manera com s’avalua la ciència, al mateix temps que s’abandonen algunes de les pràctiques actuals i que estan sent objecte continuat de crítica per les seves limitacions i biaixos.
El document, fruit de les consultes dutes a terme amb diferents agents (llista completa en el mateix document), durant el 2021, parteix de reconèixer els canvis profunds que les maneres de producció, disseminació i consum de la recerca, a causa sobretot de la digitalització i l’adopció de pràctiques de ciència oberta, no estan trobant ressò en la manera en què l’esforç d’institucions, grups, projectes i investigadors està sent mesurat i recompensat. Literalment torna sobre una asserció que, havent-se manifestat en nombroses ocasions, no ha aconseguit evidenciar-se en la suficient mesura en les organitzacions, agències, institucions i fins i tot en els individus mateixos sobre els quals recau la tasca d’avaluar. Literalment: These major evolutions are not aligned with the metrics that often dominate assessment: the number of publications and citations, and the quantity of publications in journals with high Journal Impact Factor (JIF). The race for publications – the so-called publish-or-perish culture – comes at the expense of quality, integrity, and trust in research. Also, using the JIF as a proxy for quality of research is shown to be inappropriate. Despite this, moving away from the use of JIF is non-trivial because it is easy to use and is engrained in academic culture, conferring prestige to authors and their institutions publishing in high JIF journals; whereas additional efforts may be required by alternatives such as more qualitative assessment methods.
Com es pot veure, es torna a posar el focus sobre la necessitat d’abandonar l’avaluació acumulativa i, amb especial èmfasi, en les mètriques de revistes, les anomenades journal level metrics, amb el Journal Impact Factor com a principal actor. El document pren com exemple l’avaluació curricular individual, on l’avaluació d’experts és un element fonamental, i reconeix com a necessari partir de l’avaluació qualitativa que ha de ser complementada, en tant que sigui necessari, de l’ús responsable d’indicadors quantitatius. Aquest tipus d’avaluacions ha d’incorporar, a més, una altra mena de resultats, més enllà de les publicacions i reconèixer l’existència de tipus de carreres acadèmiques fora de l’estàndard.
Aprofundint en la diversitat, el document es refereix a tenir molt en compte, ja no tan sols les diferents activitats, productes i rols que contribueixen de manera efectiva al desenvolupament de la recerca científica, sinó també a les diferències entre disciplines, països, maneres de fer ciència i objectes d’avaluació.
El document advoca per servir de base per a la construcció d’un sistema d’avaluació que s’adapti tant a aquestes diferències com a les distintes necessitats de les institucions, respectant la seva autonomia, i que, no obstant, possibiliti la interoperabilitat i faciliti, entre d’altres, la mobilitat.
Després de repassar les distintes iniciatives i regulacions posades en funcionament en el si de la Unió Europea en els darrers anys, es fa a continuació una proposta d’acció que consisteix en el bàsic, en una crida a les organitzacions encarregades del finançament, la creació i l’avaluació de la recerca, a firmar un acord i formar una aliança que advoqui per l’acceleració de l’adopció d’un seguit de mesures que van en el camí, abans assenyalat, d’implementar un sistema diferent d’avaluació de les activitats i els agents que fan possible l’avenç de la ciència.
És per això que es proposen una sèrie de mesures d’acompanyament, com són la dotació econòmica per part de governs i organitzacions de finançament de la recerca per poder fer efectius aquests canvis; campanyes de conscienciació i formació per a investigadors i institucions; la participació d’aliances d’universitats com a camp de proves; i el desenvolupament de mesures polítiques a diferents nivells per salvar les barreres legals.
L’acord estaria fundat sobre els principis generals de complir amb les pràctiques i regles ètiques i d’integritat; salvaguardar la llibertat de la recerca científica; respectar l’autonomia de les organitzacions de recerca; i l’assegurament de la independència i transparència de les dades, infraestructures i criteris necessaris per a l’avaluació científica, especialment la recol·lecció de dades, els algoritmes i el càlcul d’indicadors, assegurant-ne el seu control i propietat per part de la comunitat investigadora.
Pel que fa als criteris i processos d’avaluació, s’estableixen com a bàsics els principis d’enfocar l’avaluació cap a la qualitat dels resultats (més que la quantitat), posar el focus en l’obertura de la recerca, incloent-hi mètodes i dades, que els facin transparents i reproduïbles; dur a terme processos d’avaluació d’experts on el que és quantitatiu s’usi només de manera complementària quan sigui necessària, no per defecte; reconèixer l’impacte de la recerca més enllà de la comunitat científica mateixa, prenent en consideració l’impacte en la societat, en l’àmbit econòmic o tecnològic, i tenint present que aquests impactes poden tardar més o menys a arribar, depenent de la disciplina.
En línia amb això, s’assenyala la necessitat de valorar positivament la diversitat d’activitats i pràctiques científiques, com també els diferents resultats que poden produir i amb especial interès sobre aquelles que sustenten la ciència oberta. Igualment, reconèixer que els investigadors no poden rendir de la mateixa manera en totes les parcel·les de la seva activitat. Usar criteris d’avaluació i processos d’acord amb la varietat de disciplines, tipus de recerca i moment de la carrera investigadora; valorar i reconèixer els diferents papers que es poden jugar en la recerca, reconeixent el treball en equip i la col·laboració.
Finalment, assegurar la igualtat de gènere i oportunitats i fer la ciència més inclusiva, tant entre els qui la fan, com en els seus resultats.
El document proposa un full de ruta per a les entitats signants que passa per alinear les seves avaluacions de la recerca als principis anteriorment enunciats; promoure una avaluació d’alta qualitat, evolutiva, autoreflexiva i usada de forma intel·ligent; reconèixer i recompensar l’avaluació d’experts; destinar recursos suficients per a aquesta tasca; i, finalment, compartir pràctiques i experiències, lliçons apreses d’aquest canvi d’enfocament de l’avaluació.
Lluny de tractar-se d’un d’aquells documents oficials que queden arraconats a l’últim calaix de l’escriptori, en el cas d’aquest s’ha seguit un camí que l’ha portat a ser presentat el febrer de 2022 a la Paris Open Science European Conference (OSEC). En aquest marc es va iniciar un procés d’adhesió a una possible coalició de suport, havent manifestat el seu interès, fins el passat mes de maig, més de 300 organitzacions internacionals, i de països principalment europeus.
A Espanya han signat el document organismes de primer ordre en l’avaluació científica nacional com l’Agencia Estatal de Investigación o l’ANECA, a les quals acompanyen el Consejo Superior de Investigaciones Científicas (CSIC) i la Conferencia de Rectores de las Universidades Españolas (CRUE). No obstant, són poques les universitats signants (no arriben a dues desenes) i el paper de les agències i administracions autonòmiques, les societats científiques i els organismes privats de finançament és pràcticament testimonial, i malgrat això Espanya és el segon país amb més signants.
És obvi que, encara que és probable que amb aquest document es doni un nou impuls al canvi de model necessari en l’avaluació científica, també ho és que més d’una organització signant no mostri major interès en la pròpia signatura que el de «sortir a la foto».
