Versió per a imprimir
Sergio Villanueva Baselga
Responsable de Relacions Internacionals
Cap d’Estudis del grau de Comunicació Audiovisual
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)
Curry, Stephen; de Rijcke, Sarah; Hatch, Anna; Pillay, Dorsamy; Van der Weijden, Inge; Wilsdon, James (2020). The changing role of funders in responsable research assessment: progress, obstacles and the way ahead. London: Research on Research Institute. 63 p. (RoRI working paper; 3). Disponible a: <https://rori.figshare.com/articles/report/The_changing_role_of_funders_in_responsible_research_assessment_progress_
obstacles_and_the_way_ahead/13227914/1>. [Consulta: 27/01/2022].
De ben segur que a ningú li sorprèn que afirmi que vivim una època d’acadèmia accelerada, on la pressió per publicar costi el que costi augmenta per moments i en la qual l’existència de temps per pensar i reflexionar és gairebé un mite. Aquesta situació té el seu origen, en gran part, en els barems sota els quals s’avalua la producció científica, que prioritzen quantitat per sobre de la qualitat i la rapidesa per sobre de l’assossec. L’informe The changing role of funders in responsible research assessment: progress, obstacles and the way ahead es fa ressò d’aquesta situació i proposa un nou camí cap a un sistema d’avaluació de la recerca responsable on els finançadors de la ciència tenen un paper clau.
L’informe comença amb un diagnòstic de la situació que constata que l’actual sistema d’avaluació de la ciència planteja quatre grans reptes. El primer: l’exacerbada i insostenible pressió per publicar genera greus problemes d’integritat, manca de reproductibilitat i redueix incentius per explorar noves línies de recerca. Aquesta problemàtica condueix al segon repte, que és la manca de diversitat en les temàtiques i objectius de recerca, la qual cosa porta les institucions científiques a adoptar prioritats estratègiques molt similars i de baix risc. El tercer problema també té a veure amb la diversitat, però en aquest cas en el si de la comunitat científica. Els autors reconeixen que existeixen biaixos sistèmics contra aquells investigadors que no treballen (o decideixen no treballar) sobre aquelles línies de recerca estratègiques o no s’adapten als estrets criteris d’avaluació, cosa que redueix la diversitat, vitalitat i legitimitat de tota la comunitat científica. Finalment, el quart problema que detecta l’informe és l’exagerada atenció que es posa des de les administracions científiques a indicadors quantitatius, abandonant altres criteris menys tangibles però més importants.
Davant d’aquests problemes, els autors proposen un nou marc d’avaluació responsable (Responsible Research Assessment, RRA) que promogui una ciència més diversa i que incentivi cultures de recerca més reflexives, plurals i d’alta qualitat. Així, el marc RRA esdevindria el catalitzador que empenyi els actors més rellevants del sistema científic a adoptar canvis en les seves polítiques d’avaluació. I entre aquests actors, els agents finançadors de la recerca són les institucions més potents per promoure aquesta revolució. D’aquesta manera, els autors analitzen 15 iniciatives que diversos finançadors i institucions al llarg del planeta ja han impulsat i han començat a generar alguns fruits. Totes aquestes iniciatives es poden consultar a l’informe, però tot seguit es descriuen les més destacades:
- DORA (The San Francisco Declaration on Research Assessment): declaració impulsada el 2012 i el 2020 ja signada per 2.083 organitzacions, DORA ha generat un conjunt d’eines i formacions dirigides a promoure processos de selecció, tant de projectes de recerca com de recursos humans, que promoguin la diversitat i la reflexió. Entre aquests eines destaca la creació d’un format per a un currículum científic narratiu que facilita l’avaluació qualitativa per sobre d’indicadors quantitatius i que valora un ampli ventall de contribucions científiques més enllà de les publicacions.
- The Leiden Manifesto for Research Metrics: publicat el 2014 i nascut en el si de la comunitat bibliomètrica mateixa, exposa deu principis per a l’ús d’indicadors quantitatius que promoguin una avaluació més diversa i plural.
- The Hong Kong Principles for Assessing Researchers: publicats el 2020, són cinc principis que estan dissenyats per ajudar a institucions científiques a minimitzar incentius perversos i per reconèixer i premiar una recerca ètica, plural i confiable. Aquests cinc principis són: (i) avaluar pràctiques científiques responsables, (ii) valorar la totalitat dels informes, (iii) premiar la pràctica de la ciència oberta, (iv) reconèixer un ampli espectre d’activitats científiques més enllà de la publicació, i (v) reconèixer altres tasques fonamentals com ara la mentoria o la revisió d’experts.
- Science Europe Position Statement on Research Assessment Processes: declaració publicada el 2022 amb la intenció de complementar la declaració DORA i el Leiden Manifesto, recull un seguit de recomanacions per a les institucions científiques europees. Entre aquestes destaquen la necessitat de tenir processos d’avaluació transparents i clars; la metaavaluació constant dels processos de selecció per garantir la seva robustesa; la contínua avaluació de biaixos i discriminacions; la urgència de revisar els continguts dels productes de recerca; i l’empenta per a l’obertura cap a noves tècniques d’avaluació.
- Helsinki Initiative on Multilingualism and Scholarly Communication: iniciativa de 2019 que busca que es posi en valor la comunicació en totes les llengües possibles més enllà de l’ús de l’anglès com a lingua franca. A través d’aquesta iniciativa es pretén un triple objectiu: donar suport a la disseminació de coneixement per a la societat general, protegir les estructures de publicació que se centren en problemes de proximitat locals o regionals, i promoure la diversitat lingüística.
Com es pot veure, moltes d’aquestes declaracions i manifestos es queden en l’àmbit de recomanacions i futures línies de treball, però poques fan un esforç per concretar eines d’avaluació o nous ítems d’avaluació. Així, tan sols la declaració DORA, amb la seva proposta per un currículum científic narratiu, i la iniciativa Helsinki, amb els seus nous indicadors per promoure el multilingüisme en la comunicació de la ciència, fan aportacions més enllà de la recomanació. No obstant, cal destacar l’intent de totes aquestes iniciatives per impulsar canvis en les polítiques d’avaluació i promoure l’ús i creació d’eines innovadores que resten focus a les publicacions científiques com a finalitats en si mateixes i el traslladin a una visió més amplia, plural i diversa de la pràctica científica.
Després de revisar aquestes iniciatives, els autors de l’informe exposen els resultats d’una enquesta realitzada a més de 50 organitzacions del Global Research Council (GRC), una aliança d’agències i institucions nacionals finançadores de la ciència que es va generar el 2012 amb l’objectiu de promoure i compartir millors pràctiques en finançament de la recerca. Entre les institucions que van respondre l’enquesta, la declaració DORA i les recomanacions Science Europe són els marcs d’avaluació responsable més populars, mentre que el Leiden Manifesto o els Hong Kong Principles eren molt minoritaris. Dissortadament, no es van recollir dades sobre la Helsinki Initiative.
La major part d’aquestes institucions afirmen que el mètode de selecció que més utilitzen són les revisions per panels d’experts externs (external panel review), seguit de la revisió cega per experts (external single-blind review). Més del 70 % de les institucions fan alguns ajustaments als criteris d’avaluació segons les disciplines i seleccionen avaluadors amb diferents perfils disciplinaris, però menys del 10 % reconeixen incloure quotes de disciplina, sexe, edat o origen racial. Sobre els indicadors que tenen en compte per a aquests processos d’avaluació, que es poden veure al gràfic 1, cal destacar la preeminència de les publicacions i de projectes de recerca passats, però també d’altres resultats de recerca no publicables. Entre aquests ítems destaquen el desenvolupament de programari, codi o algoritmes (65 %), bases de dades (58 %), maquinari (48 %), àudios, vídeos i d’altre material audiovisual (42 %) i protocols i manuals (31 %). Crida l’atenció, també, la intenció de moltes d’aquestes institucions per incloure, en el futur, indicadors sobre publicacions en accés obert, curació de dades i internacionalització.
Gràfic 1: Indicadors d’avaluació científica (p. 33)
Respecte als plans de canvi, la major part de les institucions consultades, un 76 %, reconeixen voler deixar enrere sistemes d’avaluació centrats en mètriques basades en publicacions i passar a considerar altres indicadors focalitzats en la qualitat dels continguts. Algunes d’aquestes institucions ja han implementat el sistema de currículum narratiu proposat per la declaració DORA o similars, i més d’un terç està pensant a implementar un sistema semblant. Finalment, cal destacar que algunes d’aquestes organitzacions han començat a experimentar amb nous sistemes d’avaluació, com els cegaments dobles o les revisions obertes. Crida poderosament l’atenció que tres institucions europees estan experimentant amb un sistema d’aleatorització o loteria, on, després d’un procés d’avaluació per un panel d’experts, la decisió final es pren per sorteig.
Com a conclusió, els autors de l’informe veuen moltes raons per a l’optimisme, donat que sembla que hi ha una creixent cultura entre les institucions finançadores de la recerca per promoure un canvi en la ciència que es du a terme avui dia, promovent una ciència més íntegra, diversa, plural i reflexiva. A més, constaten de quina manera aquest ímpetu s’ha accelerat amb la pandèmia de la COVID-19 i la seva resposta transdisciplinària. No obstant, encara es veuen moltes barreres al desenvolupament complet de marcs d’avaluació responsable per causa de la tradicional resistència al canvi de les institucions científiques o la manca de motivadors extrínsecs procedents de les institucions polítiques. Per acabar, els autors demanen que no es generin nous marcs d’avaluació responsable ad hoc, sinó que se sistematitzin i interrelacionin les iniciatives ja vigents, de cara a unir esforços i promoure conjuntament un canvi cultural que té com a objectiu millorar com fem ciència i en quines condicions l’executem.
