Versió per a imprimir
Antonio Eleazar Serrano-López
Departamento de Biblioteconomía y Documentación
Universidad Carlos III de Madrid
Saenen, Bregt; Morais, Rita; Gaillard, Vinciane; Borrell-Damián, Lidia (2019). Research assessment in the transition to open science: 2019 EUA open science and access survey results. Brussels; Geneva: European University Association. 47 p. Disponible a: <https://www.eua.eu/resources/publications/888:research-assessment-in-the-transition-to-open-science.html?utm_source=social&utm_medium=Twitter&utm_name=Twitter-social-22-10-2019>. [Consulta: 20/11/2020].
Des de fa algun temps, assistim a un procés de canvi en les polítiques d’avaluació de l’activitat científica, que tracta d’adaptar-se als nous escenaris que es plantegen, com també a les noves alternatives quant a indicadors i fonts per a l’avaluació. En aquest sentit, la implementació de la Ciència Oberta és un dels majors reptes als quals s’enfronten els decisors i els òrgans de govern d’universitats i institucions nacionals i supranacionals.
L’informe de l’European University Association (EUA) tracta de fer un diagnòstic de la situació actual i de la direcció que estan prenent els òrgans de govern de les universitats europees de cara a la implementació de la Ciència Oberta en les seves polítiques d’avaluació de l’activitat investigadora. Per a això, analitza els resultats de l’enquesta Open science and access survey on research assessment, duta a terme el 2019 a diferents òrgans de govern dins de les universitats europees (rectorats, vicerectorats, deganats i direccions de departament).
Aquesta enquesta es realitza de manera anual per part de la EUA des de 2014, per bé que el nombre de respostes obtingudes ha decaigut notablement des que el 2016 van arribar a la seva major taxa de resposta (338 respostes d’universitats de 39 països), mentre que els resultats del present informe es limiten a 260 respostes de 32 països diferents. D’altra banda, la taxa de respostes per països també resulta molt irregular. Tant és així que, en algunes de les respostes, les dades de Turquia han estat tractades per separat, ja que suposen un alt percentatge del total de respostes (35,7 %). Malgrat això, els resultats obtinguts són bastant representatius de la situació actual, com també de la incertesa que estan experimentant els decisors dins de les universitats respecte de les futures polítiques d’avaluació i el paper que hi ha de jugar la Ciència Oberta.
En aquest sentit, les respostes reflecteixen que Ciència Oberta i Accés Obert encara no es consideren com una part essencial del treball de recerca i, mentre que aquesta percepció no canviï, no podran passar a formar part efectiva de les tasques que realitzem els investigadors. Això es pot observar a l’informe tant a la figura 9 (pàg. 21), sobre les tasques que es consideren part essencial del treball de recerca, com a la figura 10 (pàg. 23), sobre els mètodes d’avaluació de l’activitat investigadora.
Igualment, els resultats d’aquesta última pregunta criden l’atenció sobre altres aspectes emergents de l’avaluació, especialment al comprovar que l’ús d’indicadors altmètrics, la validesa dels quals encara està per demostrar, se situa molt a prop de l’accessibilitat de les publicacions i les dades de recerca a través de la Ciència Oberta, premissa aquesta molt més assentada en la comunitat científica. A més, els indicadors altmètrics se situen, al seu torn, per sobre de mètriques alternatives, però més properes a l’àmbit acadèmic, com són les views o les descàrregues de les publicacions, essent aquestes mesures molt més properes a la comunitat científica i mostrant una major correlació amb la citació com a mesura d’ús de les publicacions. En qualsevol cas, els resultats d’aquesta pregunta haurien de ser analitzats amb cura, donat que la redacció de la pregunta (figura 1) pot resultar problemàtica, ja que existeix solapament entre dues de les categories (altmetrics i academic attention), donat que ambdues inclouen les descàrregues com a indicador i pot haver generat confusió en les respostes.
D’altra banda, les respostes sobre els indicadores d’avaluació incloses en les polítiques de cada universitat mostren una tendència cap a la utilització dels indicadores més tradicionals, malgrat que molts d’ells han mostrat biaixos i problemes metodològics importants, especialment en el cas de l’avaluació en l’àmbit de l’investigador (factor d’impacte, índex H, etc.).
No obstant, el major problema detectat a través d’aquesta enquesta rau en el fet que les polítiques d’avaluació a la majoria de les universitats només reconeixen influències de la universitat mateixa o d’altres universitats, mentre gairebé no existeixen centres que reconeguin veure’s influïts pels manifestos més importants al respecte, com ara el Manifest de Leiden, DORA (San Francisco Declaration on Research Assessment) o Metric Tide (figura 14, pàg. 29), si bé indiquen que els estan tenint en compte a l’hora d’elaborar les seves futures polítiques d’avaluació, pel que sembla els principis per aquests documents comencen a permear en les polítiques d’avaluació, encara que hagin tardat diversos anys a fer-ho (DORA es va publicar el 2012 i Metric Tide i el Manifest de Leiden el 2015).
Per acabar, i com a reflexió final sobre els problemes en l’elaboració de polítiques d’avaluació, crida enormement l’atenció que només el 26 % de les universitats enquestades senyalen com un problema la falta de alineació entre les polítiques nacionals, supranacionals i universitàries, quan aquest problema és molt més real per als investigadors, que es troben elaborant diferents versions dels seus curricula i buscant evidències de la qualitat de la seva activitat científica en infinitat de formats, fonts i sistemes d’avaluació, cadascun diferents i amb criteris d’allò més dispars, encara que no sembla que això suposi un problema per als òrgans de govern de les universitats.
