Afegeix un nou comentari

Jordi Ardanuy
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona

Severinson, Peter (2017). Approaches to assessing impacts in the humanities and social sciences. Ottawa: Federation for the Humanities and Social Sciences = Fédération des sciences humaines. 28 p. Disponible a: <http://www.ideas-idees.ca/sites/default/files/impact_report_en_final.pdf>. [Consulta 09/12/2018].

Des de fa uns anys s’està produint un debat internacional cada cop més intens sobre com cal avaluar realment l’impacte de la recerca científica, especialment en les disciplines d’humanitats i ciències socials (HCS). La Federation for the Humanities and Social Sciences canadenca, que representa una comunitat de més de 90.000 persones entre investigadors i estudiants de postgrau d'universitats de tot l’Estat, encoratja i participa d’aquest intercanvi de idees i elaboració de propostes. L’any 2014 ja va publicar un document de treball sobre el tema¹ del qual, de fet, l’informe que ara esmentem n’és complementari i de seguiment.

Els objectius del present document són la identificació i l’anàlisi dels beneficis previstos en l’avaluació de l’impacte de la recerca; els riscos potencials dels sistemes d'avaluació defectuosos; les característiques pròpies de les disciplines d’HCS que afecten l’avaluació de l'impacte de la seva recerca; i, les fortaleses i debilitats dels diferents enfocaments d'avaluació. El document examina els factors clau i conclou amb un conjunt de recomanacions de com enfocar l’avaluació en aquestes àrees. A més a més, també inclou una sèrie de casos hipotètics de caràcter il·lustratiu inspirats en les experiències reals d'investigadors canadencs, que volen mostrar exemples explícits de formes d‘impacte i de com es genera en diferents escenaris.

El document parteix de la consideració que l’impacte cal entendre’l com la influència que té la creativitat i la recerca sobre la societat, tant si aquesta influència està o no planificada, o bé si és immediata o a llarg termini.

L’abast de l’impacte s’estructura en cinc àmbits diferents:

1. Món academicocientífic
2. Desenvolupament d’habilitats, a través de l’ensenyament i el guiatge en l’àmbit de grau i postgrau
3. Economia
4. Societat i cultura
5. Praxis i suport al desenvolupament de polítiques per part de l’administració

Aquest marc tan ampli posa de relleu que l’impacte pot ser molt divers i indirecte en molts casos, per la qual cosa resulta complicada de manera inherent la definició operativa d’allò que és impacte ensems que de difícil atribució i quantificació. Aquesta complexitat presenta, per tant, grans desafiaments, però també oportunitats de millora. Així, pot fomentar una millor comunicació del valor del treball acadèmic; augmentar els impactes beneficiosos en la societat; millorar la col·laboració entre acadèmics i professionals; donar suport al desenvolupament de noves formes de recerca i ensenyament i a la presa de decisions administratives; i, finalment, permetre justificar millor la rendició de comptes a la societat.

El document esmenta els riscos dels processos d’avaluació defectuosos que poden infravalorar el treball dels investigadors i produir severes conseqüències danyoses. Un exemple, prou conegut a casa nostra, és el del cas d’una professora o un professor a qui se l’avalua o reconeix la seva tasca desenvolupada principalment a partir del nombre d’articles de revista publicats i de les citacions que pot aconseguir, i que lògicament no estarà massa disposat a la inversió de temps en d’altres tasques com la docència, participació en fòrums públics, donar suport amb evidències a l’administració i d’altres activitats no directament remunerades que puguin expandir l’impacte social positiu del treball científic. Directament relacionat amb això, cal sumar-hi que si el sistema d’avaluació és esbiaixat pot generar amb relativa facilitat comportaments estratègics per aprofitar-se de les regles, amb el conseqüent dany al valor dels resultats del sistema d’avaluació.

Directament lligat al punt anterior, el document assenyala que els indicadors bibliomètrics presenten certes limitacions i que no es recomanable establir comparacions entre disciplines a causa de les diferents pràctiques de publicació i citació. Això no obstant, assenyalen que les dades bibliomètriques poden ser valuoses quan s'utilitzen juntament amb altres indicadors qualitatius.

Un aspecte fonamental a l’hora de considerar l’atribució de l’impacte acadèmic és que els efectes de la recerca i l'ensenyament sovint es perceben només després de llargs períodes de temps, i sovint són el resultat dels esforços acumulatius de molts estudiosos. Per això, poques vegades és possible establir connexions causals precises entre un treball acadèmic en particular i el seu impacte social final. D’altra banda, en moltes recerques els impactes estan fonamentalment vinculats a les contribucions i experiències dels que estan fora de la comunitat acadèmica. Per aquest motiu els esforços per a aconseguir, avaluar i comunicar l’impacte de la recerca han de tenir en consideració aquests col·laboradors no acadèmics que ajuden a produir la recerca; els professionals que n’implementen els resultats; i els usuaris finals que es beneficien de l’impacte de la recerca.

El document conclou amb cinc recomanacions:

• Definició de l’impacte en un sentit ampli de manera que reconegui les diverses dimensions del terme en totes les àrees temàtiques i disciplines. Aquesta comprensió ha de permetre fonamentar correctament un enfocament flexible i pluralista de l'avaluació de l'impacte.
   
• Utilització de conjunts d'indicadors diversos i flexibles, procedents de l’ús de mètodes qualitatius i quantitatius. Cap conjunt concret i limitat d'indicadors serà capaç de copsar els impactes complexos i d’ampli abast, per tant caldrà també que evolucionin.
   
• Els investigadors mateixos han d'exercir un paper de lideratge en la descripció de l’impacte del seu treball, junt amb col·laboradors i els usuaris dels resultats de la recerca. Tenint en compte la diversitat d'àrees de recerca en HCS, el rang de l’impacte potencial que pot tenir el treball i la quantitat d'indicadors que es poden arribar a utilitzar, els acadèmics mateixos hauran d'exercir un paper de lideratge en la selecció dels indicadors concrets que millor poden captar l’impacte de cada treball.
   
• Avaluació dels impactes col·lectius. L’impacte de l’activitat acadèmica en HCS té com a característica substancial que es constata sovint després de llargs períodes de temps i com a resultat dels esforços acumulatius de molts investigadors. Aquesta característica crea importants limitacions per atribuir-lo a una acadèmica o un acadèmic. Reconeixent això, les avaluacions del treball d’HCS han d'incloure la consideració de l’impacte col·lectiu i de llarg termini, com ara la participació en equips de recerca, en camps de recerca o les institucions.
   
• Desenvolupament de suports institucionals per permetre una avaluació d'impacte efectiva. L’avaluació de l’impacte de la tasca acadèmica implica un esforç complex i desafiant. El disseny de qualsevol sistema d'avaluació d'impacte ha d'incloure mecanismes per gestionar la càrrega associada. Mentre que, com ja s’ha indicat, els acadèmics han d'exercir un paper de lideratge en la determinació de com s'avalua la seva tasca, els actors administratius dins de les universitats i les agències públiques han de proporcionar els suports adequats per garantir que les demandes de l'avaluació no facin disminuir indegudament la capacitat del professorat en la participació d’altres activitats valuoses.

Emperò, malgrat el seu interès, aquestes recomanacions no proporcionen pas un conjunt complet de respostes. Queda lluny del que podríem considerar el Sant Greal de l’avaluació de la recerca en HCS. L’informe mateix indica que cal encara un volum de recerca significativa per poder identificar els indicadors més rellevants i útils en cada camp del coneixement.

¹ The Impacts of humanities and social science research (2014). [Consulta 09.12.2018].