Versió per a imprimir
Alexandre López-Borrull
Estudis de Ciències de la Informació i de la Comunicació
Director del grau d'Informació i Documentació
Universitat Oberta de Catalunya (UOC)
Biagioli, Mario; Lippman, Alexandra (eds.) (2020). Gaming the metrics: misconduct and manipulation in academic research. London; Cambridge; The MIT Press. VII, 297 p. Disponible a: <https://mitpress.mit.edu/9780262537933/gaming-the-metrics/>. [Consulta: 20/10/2022].
Tots hem llegit novel·les incòmodes que, per un motiu o altre, sacsegen. En aquest cas, la lectura d’aquesta monografia neguiteja perquè esdevé l’elefant a l’habitació que, de vegades, no es vol veure a la ciència. A voltes, quan ens movem a la trinxera de la desinformació i les teories negacionistes que afecten la bona feina i el prestigi de científics, cal mirar enrere per adonar-nos que no és or tot el que lluu, i ara no em refereixo a la via daurada de l’accés obert. La ciència és una més de les activitats humanes i, per tant, cal entomar el que aquí esmento com a costat fosc.
Ja a la introducció, els dos editors argumenten que al·ludir només a la pressió per publicar («publish or perish») no és suficient per entendre el frau i la manipulació en ciència, i que aquesta nova forma de mesurar i entendre l’activitat científica esdevé, en paraules seves, «impact or perish». De fet, van més enllà a l’afirmar que la creixent dependència de les mètriques institucionals d'avaluació no només proporciona incentius per a aquest tipus de manipulacions, sinó que també crea les seves condicions de possibilitat. No haurien nascut si no fos per la nova «cultura de l’auditoria» basada en mètriques de l’acadèmia. Així doncs, en un món imperfecte les polítiques científiques no només marquen allò que cal publicar, com i on, sinó que també esdevé el «feta la llei, feta la trampa» en versió acadèmica i digital.
Com en molts altres àmbits, l’esfera digital, de mètriques i noves capacitats, amplia el ventall de formes de frau. I aquest és part de l'interès d’aquesta monografia, perquè actualitza les formes de tota la vida i les posa en diàleg amb les noves. Però ni enamoren les velles ni s’exalten les noves. De nou, el risc de conèixer i reconèixer aquestes formes de frau ha de fer reflexionar sobre la vigència o la confiança en mètriques alternatives que poden ser més fàcilment manipulables. És a dir, encara ara, és més fàcil automatitzar baixades que inserir citacions en articles científics. I parlem d’articles justament perquè una de les idees que romanen és el fet que esdevé encara la mesura de les coses en ciència, el patró or que permet no només l’intercanvi de coneixement sinó també la comunicació i la comparació (i l’avaluació) entre científics. També cal fer èmfasi que no només parlem de males pràctiques del col·lectiu investigador, sinó també per part d’universitats i centres de recerca en el seu intent d’excel·lir en els famosos rànquings. En qualsevol cas, tal com afirmen els autors, el mateix concepte «fake» o «predatory» no descriu prou acuradament algunes pràctiques, com per exemple les que tenen lloc en alguns congressos que en podríem dir escurabutxaques amb poc valor acadèmic i molt de certificació via publicació en revistes poc conegudes.
Els diferents capítols s’agrupen en quatre grans àmbits:
I. Més enllà i abans de les mètriques
Per mi, és el capítol central perquè tracta l’element actual de debat i reflexió al voltant de les mètriques, en la idea de l’avaluació, i entronca amb l’anàlisi de la necessitat de més ciència oberta i d’un canvi en la fórmula d’avaluar la ciència. I ho fa essent crític des dels inicis de la mateixa bibliometria o cienciometria, posant el dit a la llaga, com quan en el primer capítol esmenta la carta que Robert Merton escriu a Eugene Garfield, tot avisant-lo que hi haurà un desplaçament d’objectius si la cienciometria deixa d’emprar-se per mapejar l’activitat científica i esdevé l’element d’avaluació i recompensa de l’exercici dels científics.
En un altre capítol tracta d’un tema necessari com és la transformació de l’article científic des de l’expressió i vehicle del coneixement científic a l’instrument de comptabilitat de l’activitat científica.
M’ha cridat també l’atenció l’exemple de la lògica de l’impacte al Regne Unit amb una conclusió complexa, i és que «...una altra característica paradoxal del règim d’impacte al Regne Unit: com més impacte tinguis, més difícil serà explicar-ho» (en el sentit d’account). I es relaciona amb el camp de les mètriques alternatives. És a dir, en aquest capítol, es tracten les distorsions que poden portar al costat fosc de les mètriques, però també que les noves coses (la mesura de l’impacte) tenen també dèficits. Possiblement, com en molts aspectes de la monografia, es recullen més els problemes que les solucions, però justament en aquest moment el fa interessant. També com, en paraules de Wouters en un dels capítols, ens fa observar que «Atès que els investigadors s’han adonat, a gran escala, que les seves bibliografies poden influir en les carreres dels investigadors que citen, el seu ‘comportament de citació’ es veurà afectat per aquest coneixement». I és ell precisament qui esmenta com a proposta les mètriques de recerca responsables (responsible research metrics), que s’ofereixen com a solucions de futur.
II. Manipulacions col·laboratives
En aquest apartat, s’inclouen diversos capítols que tracten sobre males pràctiques legals i morals que es poden dur a terme de forma col·lectiva, no només en el camp de la recerca sinó creant, per exemple, xarxes de citacions, cercant científics per signar informes o articles amb conflictes d’interessos per part de la indústria, els autors fantasma o, sobretot, les editorials i revistes predadores. Per tant, es tracten les pràctiques que, d’alguna forma, emergeixen de les regles de joc que s’han apuntat en l’apartat anterior, i que d’alguna manera les invaliden. També s’hi inclouen les referides a les universitats i centres de recerca en el seu afany per sortir més ben situats en els diferents rànquings.
III. Intervencions des del camp
Aquest apartat té molt valor per si sol atès que tracta qui fa què per detectar i lluitar contra aquestes males pràctiques. Hi apareix descrita la gent de Retraction Watch i la plataforma PubPeer, on es pot fer exercicis de postpublicació i que sovint ha destapat l’olla d’articles que han estat finalment retirats. Algun dels capítols parla de trucs emprats per científics per posar en relleu algunes disfuncions del sistema, com ara la creació d’articles generats per intel·ligència artificial («Ike Antkare») que, un cop acceptats, demostren com Google Scholar pot ser també manipulat. Un altre: la facilitat per entrar en determinats consells editorials per part de científics que no existeixen. És l’apartat que més angoixa genera perquè exemplifica les males pràctiques i la dificultat que se’n faci un filtratge i control, ja sigui per presses o, sobretot, perquè no es considera prou rellevant.
IV. Imitació per la paròdia i el profit
Finalment, aquest apartat inclou una sèrie de capítols dedicats a alguns dels àmbits propers a la fake science, els àmbits on és possible falsejar la ciència. En algun cas, emergeix alguna idea de com es veuen les revistes predadores, i qui hi pot caure més fàcilment, i considera, cosa rellevant per mi, com és la incapacitat de publicar en revistes del nord global per al sud global, com a possible explicació de per què alguns països són els que, sistemàticament, apareixen als estudis sobre qui publica en revistes predadores. Així doncs, és important conèixer les causes, i no només les conseqüències. Curiosament, també hi ha un capítol dedicat als falsos repositoris, els fake archives, creats per enganyar els autors pensant que estan publicant a arXiv, per exemple. I, a partir d’aquí, s’obre un debat sempre necessari, que l’activisme i la promoció de la ciència oberta ha de tenir clar i que ja és sobre la taula des de fa més de 20 anys: l’accés obert. La ciència oberta no és una excusa per rebaixar el nivell o la qualitat acadèmica, ni un marc mental per justificar males pràctiques en nom de l’accessibilitat, la interoperabilitat o la recuperació. FAIR és fair, però sempre de forma ètica.
Com a tancament, podem dir que es tracta d’una monografia interessant:
- Per al col·lectiu científic, per tal de veure com la dinàmica científica té els seus punts foscos, per necessitat, ambició o deixadesa. Això ha de permetre també aportar en el debat sobre com volem ser avaluats en el nostre exercici. Sí, la ciència oberta no és la causa d’aquests problemes, sinó que és un paradigma on se’n poden resoldre molts, amb els canvis en l’avaluació de la recerca, però també en la revisió per experts en obert.
- Per a les biblioteques universitàries en general, per tenir una idea de les males pràctiques que poden afectar els investigadors. Ningú no dona Q1 a quatre pessetes, podríem dir, així que cal estar a l’aguait en el suport al col·lectiu investigador.
- Per al col·lectiu de professionals de la informació atès que moltes d’aquestes formes d’avaluar formen part del que ha estat el nostre àmbit de recerca i si investigadors com Emilio Delgado-López-Cózar han fet algun tipus d’autocrítica, en la dinàmica entre ser part del problema, està clar que podem aportar en l’àmbit de ser part de la solució i ajudar en la promoció de mètriques responsables, que ens expliquin més i millor.
© Imatge inicial de Nick Magwood a Pixabay.
