Mètriques sota context: el camí per l’avaluació dels impactes de la recerca en Ciències Socials i Humanitats

Versió per a imprimirVersió per a imprimir

Carles Viladiu
Gabinet de Projectes Estratègics Institucionals (GAPEI)
Universitat de Barcelona


Severinso, Peter (2017). Approaches to assessing impacts in the Humanities and Social Sciences. Ottawa: Federation for the Humanities and Social Sciences = Fédération des Sciences Humaines. 28 p. Disponible a: https://www.ideas-idees.ca/sites/default/files/impact_report_en_final.pdf. [Consulta: 21/03/2018].


Des del seu origen, els criteris d’avaluació de la recerca dels àmbits de les Humanitats i les Ciències Socials han estat sotmesos a crítiques constructives. El fet que aquests àmbits no semblen disposar d’indicadors d’impacte tan acceptats internacionalment com altres àmbits científics, i també el difícil encaix entre un enfocament internacional i una projecció en l’entorn més proper han promogut iniciatives de reflexió, de cerca de consens i de propostes per a l’objectivació. En el nostre entorn, cal fer esment del document d’AQU Catalunya de l’any 2010. L’informe que ara ressenyem pot considerar-se una nova aportació al coneixement des d’una perspectiva externa.

Aquesta publicació de la Federation for the Humanities and Social Sciences del Canadà podria proporcionar una bona orientació als tècnics, investigadors i d’altres membres de la comunitat investigadora a l’hora d’abordar la complexa tasca d’avaluar la recerca realitzada, de forma especial quan s’analitza sota el prisma dels impactes socials que produeixen. En aquest sentit, es planteja que cal utilitzar una àmplia definició d'impacte, una bona diversitat d’indicadors i permetre la participació dels mateixos investigadors en la tria dels més adients en cada cas.

El treball inclou una introducció a l’actual context canadenc de la recerca en Ciències Socials i Humanitats que, en molts aspectes, no difereix massa del que podem trobar al nostre entorn. A continuació, s’aborda el concepte d’impacte, la seva definició i la complexitat en la seva identificació, i els riscos i beneficis d’una aproximació mitjançant l’avaluació de l’impacte. Finalment, s’analitzen els factors clau implicats, i s’extreuen unes conclusions i recomanacions.

L’objectiu del treball no és avançar materialment en l'estat de coneixement sobre com avaluar els impactes acadèmics –qüestió que deixen als experts– sinó el fet de contribuir al debat, agrupar les troballes de la investigació, ajudar a comunicar la seva rellevància per a la comunitat i augmentar en el coneixement i les eines que es poden utilitzar. La federació canadenca incideix en què les agències públiques de finançament i, principalment, les universitats mateixes inclouen cada vegada més l'avaluació d'impacte en els seus plans estratègics, potser com a resposta a la pressió creixent dels governs per obtenir més informació sobre el rendiment dels programes i institucions finançats públicament. Amb tot, es considera que l’avaluació de l’impacte encara té una escassa repercussió davant el finançament de la recerca.

S’observa que el debat sobre l’avaluació dels impactes sovint es veu obstaculitzat per la incertesa, l'ansietat i la sospita: en particular, els investigadors de les Humanitats i les Ciències Socials expressen la seva preocupació perquè el sistema d'avaluació actual, basat en conjunts de mètriques inflexibles, distorsioni el panorama de la investigació en detriment d’algunes disciplines de recerca els impactes de les quals resisteixen la quantificació simple. També es constata que els administradors universitaris i els funcionaris públics encarregats d'explorar l'avaluació d'impactes volen desenvolupar pràctiques d'avaluació responsable i evitar danys no intencionats.

A modus d’exemple, el treball inclou quatre casos d'estudi semihipotètics, basats en escenaris i activitats reals, que il·lustren les diferents formes que l'avaluació de l'impacte pot tenir en les Humanitats i les Ciències Socials. De cadascun d’aquests exemples es poden obtenir diverses lliçons útils per avaluar els impactes, però potser el més important sigui el missatge que envien en el seu conjunt: mostren la diversitat i complexitat del món de la recerca, i com la comprensió d’aquestes dimensions són claus a l’hora de recomanar mètodes d'avaluació flexibles i pluralistes que abordin els possibles impactes.

Com a resultat, recomanen enfocaments adaptables per avaluar els impactes. Això inclou definir el concepte d’«impacte» en general, utilitzant una barreja diversa d'indicadors d'impacte (tant qualitatius com quantitatius) i assegurant que els mateixos investigadors tinguin un paper destacat en la selecció dels indicadors que millor s'adaptin i descriguin la seva recerca.

Recomanen que les institucions de recerca, incloses les universitats i les agències governamentals, aportin els recursos necessaris per donar suport al treball exigent de l'avaluació d'impacte. I que els enfocaments d'avaluació reconeguin les aportacions de socis no acadèmics, que juguen un paper tan important en els camins entre recerca i impactes.

Tot i la seva significativa aportació, els autors del treball manifesten que els plantejaments que es recomanen són intencionadament amplis i, per tant, només s’han de considerar com a una modesta contribució. Certament, l'aplicació d'aquests enfocaments als esforços específics d'avaluació d'impacte requerirà treballs d'investigadors, associacions acadèmiques, fundacions d'investigació i universitats. Potser –sota el meu propi punt de vista– seran necessàries unes definicions més acotades que permetin registrar, classificar i valorar aquests impactes per tal d’assolir uns sistemes pragmàtics on emmirallar l’activitat. En qualsevol cas, els autors manifesten l’esperança que l’informe ajudi a aquests col·lectius a treballar conjuntament de forma productiva, proporcionant-los un terreny comú inicial basat en una comprensió compartida dels factors clau que afecten l'avaluació de l'impacte.