Versió per a imprimir
Universidad Complutense de Madrid
Wellcome Trust (2015). Scholarly Communication and Peer Review: The Current Landscape and Future Trends. Research Information Network CIC. Disponible a: http://www.wellcome.ac.uk/stellent/groups/corporatesite/@policy_communications/documents/web_document/wtp059003.pdf [Consulta: 15/09/2015]
L'informe sobre el peer review publicat per Research Information Network per encàrrec de Wellcome Trust tracta de recollir els anhels i preocupacions de tots els implicats així com els intents de superar-los. Les seves fonts d'informació han estat la literatura professional i unes entrevistes realitzades a alguns dels protagonistes. En elles basen les limitacions que reconeixen: no han fet una revisió total de la literatura1 i els enquestats formen part d'un únic col·lectiu, les editorials2 (en concret 11 de: BMJ Group, PeerJ, Nature Publishing Group, Oxford Journals, Springer, eLife , PLOS ONE, Sage, Peerage of Science, Elsevier i Wiley). Consideren, però, que s'han pogut identificar les característiques clau de l'actual panorama, els canvis que estan tenint lloc i algunes de les tendències de futur.
La seva principal virtut és que toca de manera senzilla, breu i comprensible pràcticament tots els aspectes implicats en el procés de revisió per parells, incloent exemples de pràcticament cadascuna de les opcions, desvetllant les deficiències i apuntant les crítiques tant del sistema tradicional com de les alternatives, ja que cada iniciativa té defensors i detractors i els seus propis problemes. A més la presentació i les conclusions són com un parèntesi en què se sintetitza (de vegades amb les mateixes paraules) el que es desenvolupa a la part central del text i que pretén abordar 6 qüestions:
- Necessitat de més transparència i obertura en el procés de revisió (afectant el contingut més que l'avaluador).
- Més interacció entre implicats: editors, revisors i autors.
- Es busca proporcionar mètriques a nivell d'article.
- Creixent interès a proporcionar recompenses als avaluadors en forma de crèdit i reconeixement acadèmics.
- Millorar la guia, formació i retroalimentació dels revisors; així com avaluar i puntuar revisions i revisors.
- Interès en diferenciar entre els diferents propòsits del peer review.
Què ens diu en concret l'informe?
Destaca el paper central de les revistes en el progrés de la ciència, subratllant que als seus rols tradicionals ja avançats en l'origen mateix de la revista científica s'ha afegit la pressió per publicar sobretot en revistes que tenen l'estatus més alt dins de les seves disciplines, perquè la publicació s'ha convertit en una forma de mesurar el rendiment personal, el d'equips de treball, el d'institucions i fins i tot de països (per què si no tant èmfasi en els rànquings en què ningú creu i en què tot el món vol aparèixer?). Això ha multiplicat el nombre de publicacions (dos milions a l'any en 28.000 revistes) i ha traslladat la pressió a editorials i editors, i aquests al procés de revisió.
Es descriu què és el peer review i quins són els seus propòsits, el paper d'editors, revisors i editorials (en aquest sentit és important tenir en compte que és l'editor el que rebutja o accepta un article en base a les opinions dels revisors), les crítiques que es fan al sistema (falta d'eficàcia, biaixos, retards, cost, sobrecàrrega de revisors, perversió del mateix sistema) i les diferents modalitats de revisió per parells.
La més estesa en les Ciències és la del simple cec (l'avaluador sap qui és l'autor), ben valorada per menys de la meitat d'investigadors; la de doble cec (ni autor ni revisor coneixen la identitat de l'altre), utilitzada sobretot en Ciències Socials, és considerada el millor sistema per una gran majoria; i la d'open review en què tots dos coneixen la identitat de l'altre és relativament nova i millor vista en algunes àrees, sobretot de Medicina.
Es planteja el desig que hi hagi una interacció més gran entre editors, revisors i autors, facilitada pels desenvolupaments tecnològics tot i que els tradicionals sistemes de gestió editorial no el contemplen. S'esmenten alguns casos: intercanvi entre revisors i autors (Frontiers), entre revisors i editor (eLife).
Una altra opció possible és publicar tant les revisions com les respostes dels autors a les mateixes (BioMed Central, EMBO, BMJ, Sage ...) el que no vol dir publicar els noms dels revisors, ni que tots els autors vulguin que es conegui tota la història de les seves publicacions.
No s'oblida la relació entre pre-prints i revisió per parells (partint del cas d'arXiv i esmentant els de ACP, PeerJ i F1000Research) ni les revisions en cascada o portables que per evitar la redundància d'esforços en avaluar la mateixa feina, en diferents revistes plantegen la rotació dins d'una mateixa editorial o entre diverses (amb menys èxit).
Es qüestiona que la reproductibilitat sigui una forma de mesurar la validesa dels resultats d'una investigació ja que una proporció petita d'estudis en Biociències és veritablement reproduïble, ja que es donen dos problemes: un lligat a la complexitat de les anàlisis estadístiques i la falta d'experts capaços d'avaluar-les sobretot per l'increment sense precedents del volum de dades utilitzades en les investigacions que té com a conseqüència que encara que es facin públics en un repositori no es pugui esperar que els avaluadors examinin tal conjunt de dades en profunditat.
Una manera de superar el retard en la publicació d'una investigació seria traslladar el procés de revisió a un moment posterior a la seva publicació; cosa que s'entén de diferents maneres (F1000Research i Science Open o The Winnower). Bona part es queda sense revisions. A més creiem que no queda massa clar sempre en què consisteix exactament la publicació.
En una línia similar es defensen els comentaris i valoracions proporcionades per PLOS ONE, F1000Prime (només Biologia i Medicina), diferents altmètriques (cada vegada més complexes, sofisticades i integrades amb les clàssiques), gestors bibliogràfics, espais com ResearchGate i Academia.edu o noves plataformes on es poden escriure i llegir revisions de treballs publicats (PubPeer, PubMedCommons, ResearchGate 's Open Review). Les crítiques que recullen aquests sistemes se centren que pocs articles han rebut avaluacions, que no hi ha manera de saber si els que les fan tenen coneixements rellevants en el camp científic avaluat i que hi ha una tendència a centrar-se en el negatiu en lloc del positiu.
Les editorials veuen la revisió post publicació com un important suplement però no com una cosa que reemplaci a la revisió per parells.
Es dedica un espai a la formació d'editors i revisors (menys acurada en el cas dels últims, que de vegades ni tan sols reben informació sobre la destinació del treball avaluat). Es considera una bona manera de formar, aquella en la qual els investigadors sènior s'incorporen als júnior al procés, afegint-los la signatura de l'avaluació. És clar que també es dóna el cas dels que fan recaure l'avaluació en aquests últims sense que figurin de cap manera ni l'editor sàpiga que hi han intervingut.
Es tracta també de recompensar el treball dels revisors, no de manera monetària: fent-los més visibles, donant algun tipus de crèdit, etc. Hi ha iniciatives com Publons, que afegeix informació sobre revisions per crear perfils de revisor; o Academic Karma (Austràlia) que permet crear un perfil de revisor, juntament amb requeriments de diferents revistes... i que els seus editors puguin veure el perfil del revisor i encarregar-li treballs.
Finalment es parla de les plataformes independents de peer review el negoci consisteix a proporcionar una revisió que orienta sobre les possibilitats de publicar en una o diverses revistes. Alguns exemples: Rubriq, Axios, Peerage of Science (del món de la Biologia i Ecologia) l'últim amb 4 passos i possibilitat que els editors vegin treballs i revisions.
Hi ha discrepància sobre la seva utilitat: uns creuen que podrien reduir els costos de publicació, d'altres que només resultarien útils per a mega-revistes i no per a les especialitzades. S'apunta d'altra banda a que hi ha reticència a acceptar perquè es vol monitoritzar el control editorial i no deixar-lo en mans alienes. Una pregunta que ens fem per la nostra part és si no acabaran influint en els treballs que s'accepten en determinades revistes.
Alguna altra qüestió que creiem rellevant i s'apunta en diferents moments és que l'avaluació per parells és un procés conservador ja que sol respondre malament a resultats inesperats o disciplines noves. També al fet que el mecanisme comporta que hi hagi determinats resultats que no es publiquin (els negatius, els que ratifiquen o repliquen a previs, etc.).
Una altra, que no sempre es consideren tots els aspectes implicats en l'anonimat del revisor. Un dels més rellevants és el que protegeix als investigadors novells quan avaluen treballs d'altres ja consagrats o reconeguts. Per alguna cosa els revisors més proclius a l'anonimat són els que rebutgen un article.
Les iniciatives noves que donen suport algunes editorials no suposen que oblidin la idiosincràsia de la seva comunitat científica i el que comporta. Com els autors indiquen en la seva última frase: llevat que defineixin amb més claredat els seus propòsits, algunes de les actuals experimentacions tenen un curt recorregut.
Quedem, per tant, a l'espera dels propers resultats d'una investigació que diuen prosseguir.
