Jutjar la qualitat de les revistes segons les descàrregues d'articles no és fàcil

Versió per a imprimirVersió per a imprimir
Tomàs Baiget
El profesional de la información
 

Shepherd, Peter T (2007). Final report on the investigation into the feasibility of developing and Implementing. United Kingdom Serials Group (UKSG) <http://www.uksg.org/usagefactors/final>


Aquest projecte va avaluar la possibilitat d'elaborar i aplicar factors d'ús (UF) de les revistes comptant les descàrregues d'articles (en pdf i html). Es va fer una enquesta en dues fases:

-Fase 1, entrevistes telefòniques en profunditat a un total de 29 autors, directors, bibliotecaris i editors de revistes.

-Fase 2 estudi basat en la web en què van participar gairebé 1.400 autors i 155 bibliotecaris.

La informació obtinguda va ajudar a determinar no només si un UF és un concepte significatiu amb el potencial suficient per proporcionar informació addicional sobre el valor i la qualitat de les revistes en línia, sinó també com es podria aplicar.

També es van obtenir consells útils sobre possibles temes a estudiar més a fons, si es decidís continuar aquest projecte. L'aparent interès dels alts executius per participar en les entrevistes i el gran nombre de respostes a l'enquesta rebudes per internet indiquen l'alt grau d'interès en poder disposar de mesures de qualitat de les revistes en general i en el concepte de factor d'ús UF en particular.

En base a aquests resultats, a l'autor de l'informe li sembla que no només seria factible desenvolupar un factor d'ús de les revistes, sinó que hi ha un ampli suport per a la seva implementació.

Entre les principals conclusions i recomanacions:

• es considera que les estadístiques d'ús Counter encara no són una base prou sòlida sobre la qual construir una nova mesura mundial com el UF, però la confiança en elles està creixent i són vistes com l'única base viable per al UF.

• la majoria dels editors donen suport al concepte d'UF, semblen estar disposats, en principi, a participar en el càlcul i publicació de UFS, i aproven veure les seves revistes ordenades d'acord amb el UF.

• hi ha diversitat d'opinions sobre la forma de calcular el UF, i en particular sobre com definir els següents termes: "ús total", "període d'ús especificat", i "nombre total d'articles publicats en línia". Per afinar les definicions d'aquests termes és necessari realitzar proves amb dades d'ús real.

• no hi ha una diferència significativa entre els autors en diferents àrees d'investigació acadèmica sobre la validesa dels factors d'impacte (IF) de revistes -de Thomson ISI- com una mesura de la seva qualitat.

• la gran majoria d'autors en tots els camps de recerca acadèmica celebraria tenir una nova mesura del valor de les revistes basada en l'ús. On estiguessin disponibles, els UFS serien un factor molt valorat entre els bibliotecaris, no només per avaluar les revistes per al seu potencial compra, sinó també de cara a la renovació o cancel·lació de les subscripcions.

• els editors, en general, no estan disposats a donar les seves dades d'ús a tercers per al càlcul i consolidació dels UFS. La majoria prefereix calcular ells mateixos els UFS de les seves revistes i que aquest procés sigui auditat. Això es percep generalment com una extensió natural del treball que ja realitzen per Counter. Si bé això pot tenir implicacions per als sistemes de les editorials, no són vistes com a problemàtiques.

• Counter, en general, té la confiança tant dels bibliotecaris com dels editors i es considera que tindrà un rol en el desenvolupament i manteniment dels UFS, possiblement en col·laboració amb una altra organització de la indústria de la informació. L'organització que realitzi aquesta funció haurà de comptar amb la confiança tant dels bibliotecaris com dels editors, i ha d'incloure representants d'ambdós col·lectius.

• hi ha diversos problemes estructurals amb les dades d'ús en línia que haurien de tenir en compte perquè els UFS siguin creïbles. Entre ells destaca la percepció que les dades d'ús en línia són molt més manipulables que les dades de cites.

• si el UKSG vol continuar aquest projecte hi ha una gran probabilitat que altres organismes s'interessin en donar-li suport financerament.

• una gran biblioteca acadèmica típica està subscrita a més de 20.000 revistes. Només unes 8.000 d'elles estan indexades al Science Citation Index, les quals serveixen de font per calcular els Factors d'Impacte. Un dels avantatges de l'UF és que, en teoria, podria abastar totes les revistes en línia.

A la pàg. 31 l'informe llista els "problemes estructurals" que hauria de solucionar per obtenir un UF fiable:

-És més fàcil d'inflar de manera sistemàtica les dades d'ús en línia que les dades de citació. Els editors voldran inflar els UFS de les seves revistes. Algú podria estar descarregant articles mitjançant un robot per fer pujar les estadístiques. Un autor que sigui professor pot demanar a tots els seus alumnes que es baixin el seu article per després treballar-a classe. És Counter capaç de controlar això?

-Serà molt difícil controlar el 100% de les descàrregues d'una revista en línia, ja que l'entorn de publicació està cada vegada més distribuït. A més, des del propi servidor la revista pot estar distribuïda a d'altres plataformes, o agregada amb altres revistes en una base de dades, els articles poden estar en diferents dipòsits, webs particulars. Quina cobertura ha de tenir per obtenir UFS comparables i creïbles de les revistes?

-Les col·leccions de continguts grans allotjats en un únic servei en línia tendeixen a tenir un efecte amplificador sobre l'ús dels elements individuals d'aquest servei. Això proporciona als editors més grans un avantatge que dóna per resultat majors UFS per les seves revistes.

-La impressió d'articles no estan contemplades en Counter. ¿Soscavaria la seva omissió la credibilitat del UF?

Conclusió
En vista dels problemes descrits en l'informe, l'opinió d'aquest ressenyador és que és inviable posar en marxa un factor d'ús (UF) basat en el nombre de descàrregues dels articles de les revistes.

Una solució semblant basada en les referències en lloc dels articles en pdf podria posar-la en marxa Thomson Reuters amb la seva Web of Science (com a complement a la seva IF) o Elsevier amb Scopus (com a complement a la seva SJR), comptant el nombre de referències descarregades de cada revista, en les recerques realitzades de tot el món. De fet aquesta dada (de la WoS) es té en compte per calcular l'EigenFactor i valorar més les cites de les revistes més usades (no totes les cites valen igual).

Un UF calculat en aquestes bases de dades seria més fiable ja que totes les referències descarregades són de pagament -encara que estaria limitat a les revistes que tenen indexades. Però pretendre comptar les descàrregues de pdfs, quan aquestes es poden fer gratuïta i il·limitadament des de dins dels campus de les universitats, i quan els pdfs poden distribuir des de múltiples plataformes i dipòsits, ho veiem molt difícil.