L'avaluació de les editorials d'humanitats i ciències socials

Giménez-Toledo, Elea; Tejada-Artigas, Carlos; Mañana Rodríguez, Jorge. SPI: scholarly publishers indicators: books in humanities and social sciences. Beta. [Madrid]: CSIC, CCHS (Centro de Ciencias Humanas y Sociales), [2012]. <http://epuc.cchs.csic.es/SPI>. [Consulta: 12 set. 2014].

Per norma general, per a l'avaluació de la producció científica d'un autor, d'una institució o d'un país es té més en compte el mitjà de difusió on es publiquen els resultats de la recerca que no pas els treballs en si. No es jutja cada article en particular, sinó que es valora la qualitat de les revistes on es publiquen. Es parteix de la base que una revista de qualitat no publicaria un treball que no reunís els requisits necessaris ni els mèrits suficients.

L'avaluació de les revistes científiques té en compte tres aspectes diferents: el compliment d'unes normes d'ISO referides a la presentació formal dels continguts, el seguiment de bones pràctiques en la gestió i els processos editorials i, sobretot, el grau d'impacte de les revistes. Aquest darrer punt de vista és segurament el que pesa més. El que es mesura són les vegades que els articles d'una determinada revista són citats en articles d'altres revistes. D'això se'n diu impacte. Com més impacte tingui una revista (més popularitat) més ben considerada és. Es parteix de la base que ningú no citaria un treball que no hagués servit d'alguna cosa.

Aquest sistema, de tots conegut, ofereix uns resultats amb algunes deficiències. Per un cantó, la gran quantitat de revistes que es publiquen arreu del món fa impossible examinar-les totes per poder identificar la totalitat de les cites que inclouen. Així que és determinant establir quin és el conjunt de revistes que sí que seran analitzades per trobar-hi cites. Com se sap, aquestes revistes són majoritàriament en anglès. I això introdueix un primer punt feble del sistema: un inevitable biaix cultural en els resultats. A més, també cal esmentar un cert percentatge d'errors materials en la lectura d'algunes cites.

Una altra mancança d'aquest estat de coses és la limitació de l'avaluació de la recerca a la que es publica en forma d'article de revista. És veritat que l'article és el tipus de document que és més abundant com a transmissor de les troballes científiques. Tanmateix, no és l'únic. Especialment en les àrees de les humanitats i de les ciències socials, on són freqüents les aportacions en forma de monografia.¹

Si un investigador d'algun camp de les humanitats publica al cap de l'any cinc articles i cinc llibres (o contribucions en llibres col·lectius), és avaluat sobretot pels articles, perquè no s'ha desenvolupat una metodologia sistemàtica per jutjar la rellevància que poden tenir les seves contribucions en forma de llibre. De vegades, només es té en compte si la monografia disposa d'ISBN o no. De fa un temps sembla que comencem a buscar un desllorigador per a aquesta deficiència.

Com haureu intuït, el treball que presentem és un instrument que ajuda a l'avaluació de les editorials de monografies en humanitats i ciències socials. SPI: scholarly publishers indicators: books in humanities and social sciences és el fruit d'alguns anys de recerca, amb la participació de diverses persones. Es tracta d'un projecte espanyol, desenvolupat pel grup de recerca ECUP (Grupo de Investigación de Evaluación de Publicaciones Científicas), pertanyent a l'Instituto de Estudios Documentales sobre Ciencia y Tecnología (IEDCYT), del Centro de Ciencias Humanas y Sociales (CCHS) que forma part del Consejo Superior de Investigaciones Científicas (CSIC). Més enllà de les institucions hi ha noms i cognoms: Elea Giménez Toledo, Jorge Mañana Rodríguez i Carlos Tejada Artigas. Per portar a terme la seva feina han rebut finançament tant del CSIC com del ministeri corresponent.

L'objectiu d'aquest projecte és concretar el grau de prestigi de les editorials que publiquen llibres científics en les àrees de les humanitats i de les ciècies socials. Per a l'establiment d'aquests rànquings no s'ha calculat l'impacte de les editorials (comptabilitzant quantes d'elles són citades per d'altres), sinó que s'ha comptat essencialment amb l'opinió d'experts de les diferents disciplines. El juny de 2010 es va enviar una enquesta a més d'11.000 investigadors i professors universitaris espanyols, demanant-los que indiquessin les tres editorials espanyoles i les tres estrangeres de més prestigi en el seu camp de coneixement. Va contestar l'enquesta un 26 % (poc més de 3.000 persones). De Biblioteconomia i Documentació es va enviar el formulari a 90 persones, i van contestar 41 (un percentatge molt més alt que el de la mitjana).

El resultat d'aquesta enquesta es dóna en diferents rànquings: editorials espanyoles i estrangeres més valorades, tant en termes generals com per cada especialitat. Les especialitats contemplades són 16, des d'Antropologia i Arqueologia, fins a Psicologia i Sociologia.

Les cinc primeres editorials espanyoles del conjunt dels camps científics han resultat ser aquestes:

1 Aranzadi
2 Ariel
3 Alianza
4 Cátedra
5 Crítica

Mentre que les cinc primeres estrangeres són:

1 Oxford University Press
2 Cambridge University Press
3 Routledge
4 Springer
5 John Benjamins

En total, cadascuna de les llistes inclou poc més de 200 editorials.

Pel que fa a les especialitades, el camp d'Informació i Documentació està representat per 17 editorials espanyoles i 32 d'estrangeres. En cada cas, les cinc primeres són les següents:

1 Trea
2 Síntesis
3 Fundación Germán Sánchez Ruipérez
4 Pirámide
5 Cátedra

1 Elsevier
2 Springer
3 McGraw-Hill
4 American Library Association
5 De Gruyter

A partir de la pàgina web es poden consultar aquests rànquings, tant els de cada disciplina com els generals, sempre distingint entre editorials espanyoles i estrangeres. No és possible fer consultes directes pel nom d'una editorial, però es pot generar una llista alfabètica. El resultat és el nom de les editorials amb la puntuació que han obtingut, sense més informació. A la pàgina web hi ha disponible informació complementària: el nom dels responsables, una explicació general sobre els objectius del projecte i la metodologia aplicada, i referències a treballs que hi fan referència, publicats en revistes i congressos.

Es tracta d'un primer pas, un punt de partida per a una solució que ha de ser més complexa. Creiem que l'opinió dels experts no pot ser considerat l'únic factor per avaluar una editorial. L'AQU, en la publicació esmentada a la nota 1, aconsella «establir criteris que fixin la qualitat de les editorials universitàries o privades d'orientació cadèmica. Caldria definir una llista d'editorials que compleixin mecanismes i criteris de qualitat en el procés editorial. Alguns dels criteris que caldria tenir en compte poden ser la utilització d'avaluadors independents en processos com el de peer reviewing, consells editorials de nivell, internacionalització, etc.» (p. 60).

Pel que fa a l'impacte de les editorials, fins ara no comptem amb eines molt completes. Tanmateix, cal considerar l'existència de Book citation index, de Thomson Reuters. Aquest producte va ser llançat el 2010 i consisteix, a semblança de les altres bases de dades de la mateixa empresa que es troben a Web of science, en una eina que permet saber les editorials que tenen més impacte, és a dir, que els seus llibres (i capítols de llibres) han estat més citats per altres. Però... podem conèixer l'impacte de qualsevol editorial? No pas. En total (per al conjunt de totes les disciplines), només s'analitzen 500 editorials d'arreu del món. I hi tenen un pes molt important les que publiquen en anglès.

Concretament, segons un estudi fet per Daniel Torres-Salinas i Emilio Delgado publicat a Anuario ThikEPI el 2013 (amb dades de 2011),² el 96 % de les editorials d'humanitats i ciències socials analitzades per aquesta eina eren del Regne Unit, els Estats Units, Alemanya o els Països Baixos. De França i Itàlia només hi havia 56 i 5 llibres respectivament, i d'Espanya, només un, quan el total de llibres analitzats (insistim, només d'humanitats i ciències socials) era de 17.006.

I si comparem les cinc editorials en Informació i Documentació que tenen més impacte segons Book citation index³ amb les cinc editorials estrangeres de més prestigi segons la base de dades SPI que estem presentant, veurem que només hi ha dues coincidències (Springer i Elsevier) i les altres tres ni apareixen esmentades a SPI.

1 Chandos
2 Springer
3 IOS Press
4 M. E. Sharpe Inc.
5 Elsevier

Com es pot veure, ara per ara Book citation index pateix d'un important desequilibri a favor de les publicacions en anglès, i això la fa encara bastant inservible per avaluar editorials espanyoles. Tanmateix, cal tenir-la present, donat que les millores poden presentar-se aviat.

Pel que fa a SPI, la considerem una eina sòlidament construïda que caldrà actualitzar cada cert temps (donat que les preferències dels experts varien en funció dels seus hàbits i de l'oferta del mercat), que es pot tenir en compte com un element més a l'hora d'avaluar la producció científica en humanitats i ciències socials.

1 Així ho posa de manifest, per exemple, la publicació de l'AQU de 2010 L'avaluació de la recerca en humanitats i ciències socials: «Els llibres, les monografies i els capítols de llibres haurien de ser valorats en funció dels diversos camps i seguint criteris de qualitat. S'entén que, en bona part de les disciplines humanístiques i socials, les monografies no són substituïbles per articles. Per tant, els processos d'avaluació haurien de ser sensibles a aquesta realitat.» (p. 60).

2 Torres-Salinas, Daniel; Delgado López Cózar, Emilio. «Cobertura de las editoriales científicas del Book citation index en ciencias sociales y humanas: ¿la historia se repite?».
3 Prenc les dades del treball de Torres-Salinas i Delgado, esmentat abans.

Bibliografia

L'avaluació de la recerca en humanitats i ciències socials. Barcelona: AQU Catalunya, 2010. 122 p. (Quaderns de qualitat; 1). ISBN 978-84-693-4100-0. També disponible en línia a: <www.aqu.cat/doc/doc_49699642_1.pdf>.

Tejada-Artigas, Carlos; Gimenez-Toledo, Elea; Mañana Rodríguez, Jorge. «El ranking de editoriales de libros científicos en ciencias sociales y humanidades SPI: una nueva herramienta en la evaluación de las monografías». En: Seminario Hispano Brasileño de Investigación en Información, Documentación y Sociedad (1r: 2012: Madrid). Investigación en información, documentación y sociedad: diálogos entre Brasil y España. Coord., Aurora Cuevas-Cerveró, Elvira Simeão. Madrid: Universidad Complutense de Madrid, Facultad de Ciencias de la Documentación, 2013, p. 397-404. <http://eprints.ucm.es/25190/1/portada_Investigación en informacion documentacion y sociedad1.pdf >. [Consulta: 12 set. 2014].

Torres-Salinas, Daniel; Delgado López Cózar, Emilio. «Cobertura de las editoriales científicas del Book citation index en ciencias sociales y humanas: ¿la historia se repite?». Anuario ThinkEPI, vol. 7 (2013), p. 110-113. Versió prèvia, publica a la llista de distribució Iwetel: <http://listserv.rediris.es/cgi-bin/wa?A2=ind1209C&L=IWETEL&P=R24265&1=IWETEL&9=A&J=on&d=Ninguna+coincidencia%3BCoincidir%3BCoincidencias&z=4>.