La evaluación de las editoriales de humanidades y ciencias sociales

Giménez-Toledo, Elea; Tejada-Artigas, Carlos; Mañana Rodríguez, Jorge. SPI: scholarly publishers indicators: books in humanities and social sciences. Beta. [Madrid]: CSIC, CCHS (Centro de Ciencias Humanas y Sociales), [2012]. <http://epuc.cchs.csic.es/SPI>. [Consulta: 12 set. 2014].

Por norma general, para la evaluación de la producción científica de un autor, de una institución o de un país se tiene más en cuenta el medio de difusión donde se publican los resultados de la investigación que los trabajos en si. No se juzga cada artículo en particular, sino que se valora la calidad de las revistas donde se publican. Se parte de la base de que una revista de calidad no publicaría un trabajo que no reuniera los requisitos necesarios ni los méritos suficientes.

La evaluación de las revistas científicas tiene en cuenta tres aspectos diferentes: el cumplimiento de unas normas ISO referidas a la presentación formal de los contenidos, el seguimiento de buenas prácticas en la gestión y los procesos editoriales y, sobre todo, el grado de impacto de las revistas. Este último punto de vista es seguramente el que pesa más. Lo que se mide son las veces que los artículos de una determinada revista son citados en artículos de otras revistas. Esto se llama impacto. Cuanto más impacto tenga una revista (más popularidad) mejor considerada es. Se parte de la base de que nadie citaría un trabajo que no hubiera servido de algo.

Este sistema, de todos conocido, ofrece unos resultados con algunas deficiencias. Por un lado, la gran cantidad de revistas que se publican en todo el mundo hace imposible examinar todas para poder identificar la totalidad de las citas que incluyen. Así que es determinante establecer cuál es el conjunto de revistas que sí serán analizadas para encontrar citas. Como se sabe, estas revistas son mayoritariamente en inglés. Y esto introduce un primer punto débil del sistema: un inevitable sesgo cultural en los resultados. Además, también hay que mencionar un cierto porcentaje de errores materiales en la lectura de algunas citas.

Otra carencia de este estado de cosas es la limitación de la evaluación de la investigación en la que se publica en forma de artículo de revista. Es verdad que el artículo es el tipo de documento que es más abundante como transmisor de los hallazgos científicos. Sin embargo, no es el único. Especialmente en las áreas de las humanidades y de las ciencias sociales, donde son frecuentes las aportaciones en forma de monografía¹.

Si un investigador de algún campo de las humanidades publica al cabo del año cinco artículos y cinco libros (o contribuciones en libros colectivos), es evaluado sobre todo por los artículos, porque no se ha desarrollado una metodología sistemática para juzgar la relevancia que pueden tener sus contribuciones en forma de libro. A veces, sólo se tiene en cuenta si la monografía dispone de ISBN o no. Desde hace un tiempo parece que empezamos a buscar un desatascador para esta deficiencia.

Como habréis intuido, el trabajo que presentamos es un instrumento que ayuda a la evaluación de las editoriales de monografías en humanidades y ciencias sociales. SPI: Scholarly publishers indicators: books in humanities and social sciences es el fruto de varios años de investigación, con la participación de varias personas. Se trata de un proyecto español, desarrollado por el grupo de investigación ECUP (Grupo de Investigación de Evaluación de Publicaciones Científicas), perteneciente al Instituto de Estudios Documentales sobre Ciencia y Tecnología (IEDCYT), del Centro de Ciencias Humanas y Sociales (CCHS ) que forma parte del Consejo Superior de Investigaciones Científicas (CSIC). Más allá de las instituciones hay nombres y apellidos: Elea Giménez Toledo, Jorge Mañana Rodríguez y Carlos Tejada Artigas. Para llevar a cabo su trabajo han recibido financiación tanto del CSIC como del ministerio correspondiente.

El objetivo de este proyecto es concretar el grado de prestigio de las editoriales que publican libros científicos en las áreas de las humanidades y de las CIEC sociales. Para el establecimiento de estos rankings no se ha calculado el impacto de las editoriales (contabilizando cuántas de ellas son citadas por otros), sino que se ha contado esencialmente con la opinión de expertos de las diferentes disciplinas. En junio de 2010 se envió una encuesta a más de 11.000 investigadores y profesores universitarios españoles, pidiéndoles que indicaran las tres editoriales españolas y las tres extranjeras de más prestigio en su campo de conocimiento. Contestó la encuesta un 26% (poco más de 3.000 personas). De Biblioteconomía y Documentación se envió el formulario 90 personas, y contestaron 41 (un porcentaje mucho más alto que el de la media).

El resultado de esta encuesta se da en diferentes rankings: editoriales españolas y extranjeras más valoradas, tanto en términos generales como para cada especialidad. Las especialidades contempladas son 16, desde Antropología y Arqueología, hasta Psicología y Sociología.

Las cinco primeras editoriales españolas del conjunto de los campos científicos han resultado ser estas:

1 Aranzadi
2 Ariel
3 Alianza
4 Cátedra
5 Crítica

Mientras que las cinco primeras extranjeras son:

1 Oxford University Press
2 Cambridge University Press
3 Routledge
4 Springer
5 John Benjamins

En total, cada una de las listas incluye poco más de 200 editoriales.

En cuanto a las especialidades, el campo de Información y Documentación está representado por 17 editoriales españolas y 32 extranjeras. En cada caso, las cinco primeras son las siguientes:

1 Trea
2 Síntesis
3 Fundación Germán Sánchez Ruipérez
4 Pirámide
5 Cátedra

1 Elsevier
2 Springer
3 McGraw-Hill
4 American Library Association
5 De Gruyter

A partir de la página web se pueden consultar estos rankings, tanto los de cada disciplina como los generales, siempre distinguiendo entre editoriales españolas y extranjeras. No es posible hacer consultas directas por el nombre de una editorial, pero se puede generar una lista alfabética. El resultado es el nombre de las editoriales con la puntuación que han obtenido, sin más información. En la página web hay disponible información complementaria: el nombre de los responsables, una explicación general sobre los objetivos del proyecto y la metodología aplicada, y referencias a trabajos que hacen referencia, publicados en revistas y congresos.

Se trata de un primer paso, un punto de partida para una solución que debe ser más compleja. Creemos que la opinión de los expertos no puede ser considerada el único factor para evaluar una editorial. La AQU, en la publicación mencionada en la nota 1, aconseja «establecer criterios que fijen la calidad de las editoriales universitarias o privadas de orientación académica. Habría que definir una lista de editoriales que cumplan mecanismos y criterios de calidad en el proceso editorial. Algunos de los criterios que habría que tener en cuenta pueden ser la utilización de evaluadores independientes en procesos como el de peer reviewing, consejos editoriales de nivel, internacionalización, etc.»(p. 60).

En cuanto al impacto de las editoriales, hasta ahora no contamos con herramientas muy completas. Sin embargo, hay que considerar la existencia de Book citation index, de Thomson Reuters. Este producto fue lanzado en 2010 y consiste, a semejanza de las otras bases de datos de la misma empresa que se encuentran en Web of science, en una herramienta que permite saber las editoriales que tienen más impacto, es decir, que sus libros (y capítulos de libros) han sido más citados por otros. Pero... ¿podemos conocer el impacto de cualquier editorial? No. En total (para el conjunto de todas las disciplinas), sólo se analizan 500 editoriales de todo el mundo. Y tienen un peso muy importante las que publican en inglés.

Concretamente, según un estudio realizado por Daniel Torres-Salinas y Emilio Delgado publicado en Anuario ThikEPI en 2013 (con datos de 2011)², el 96% de las editoriales de humanidades y ciencias sociales analizadas por esta herramienta eran del Reino Unido, los Estados Unidos, Alemania o los Países Bajos. De Francia e Italia sólo había 56 y 5 libros respectivamente, y de España, sólo uno, cuando el total de libros analizados (insistimos, sólo de humanidades y ciencias sociales) era de 17.006.

Y si comparamos las cinco editoriales en Información y Documentación que tienen más impacto según Book citation index³ con las cinco editoriales extranjeras de más prestigio según la base de datos SPI que estamos presentando, veremos que sólo hay dos coincidencias (Springer y Elsevier) y las otros tres ni aparecen mencionadas en SPI.

1 Chandos
2 Springer
3 IOS Press
4 M. E. Sharpe Inc.
5 Elsevier

Como se puede ver, por ahora Book citation index sufre de un importante desequilibrio a favor de las publicaciones en inglés, lo que la hace aún bastante inservible para evaluar editoriales españolas. Sin embargo, hay que tenerla presente, dado que las mejoras pueden presentarse pronto.

En cuanto a SPI, la consideramos una herramienta sólidamente construida que habrá que actualizar cada cierto tiempo (dado que las preferencias de los expertos varían en función de sus hábitos y de la oferta del mercado), que se puede tener en cuenta como un elemento más a la hora de evaluar la producción científica en humanidades y ciencias sociales. 

1 Así lo pone de manifiesto, por ejemplo, la publicación de la AQU de 2010 L'avaluació de la recerca en humanitats i ciències socials: «Los libros, las monografías y los capítulos de libros deberían ser valorados en función de los diversos campos y siguiendo criterios de calidad. Se entiende que, en buena parte de las disciplinas humanísticas y sociales, las monografías no son sustituibles por artículos. Por tanto, los procesos de evaluación deberían ser sensibles a esta realidad. »(P. 60).
2 Torres-Salinas, Daniel; Delgado López Cózar, Emilio. «Cobertura de las editoriales científicas del Book citation index en ciencias sociales y humanas: ¿la historia se Repite?».
 3 Tomo los datos del trabajo de Torres-Salinas y Delgado, mencionado antes. 

Bibliografía

L'avaluació de la recerca en Humanitats i Ciències Socials. Barcelona: AQU Catalunya, 2010. 122 p. (Quaderns de qualitat; 1). ISBN 978-84-693-4100-0. També disponible en línia a: <www.aqu.cat/doc/doc_49699642_1.pdf>.

Tejada-Artigas, Carlos; Gimenez-Toledo, Elea; Mañana Rodríguez, Jorge. «El ranking de editoriales de libros científicos en ciencias sociales y humanidades SPI: una nueva herramienta en la evaluación de las monografías». En: Seminario Hispano Brasileño de Investigación en Información, Documentación y Sociedad (1r: 2012: Madrid). Investigación en información, documentación y sociedad: diálogos entre Brasil y España. Coord., Aurora Cuevas-Cerveró, Elvira Simeão. Madrid: Universidad Complutense de Madrid, Facultad de Ciencias de la Documentación, 2013, p. 397-404. <http://eprints.ucm.es/25190/1/portada_Investigación en informacion documentacion y sociedad1.pdf >. [Consulta: 12 set. 2014].

Torres-Salinas, Daniel; Delgado López Cózar, Emilio. «Cobertura de las editoriales científicas del Book citation index en ciencias sociales y humanas: ¿la historia se repite?». Anuario ThinkEPI, vol. 7 (2013), p. 110-113. Versió prèvia, publica a la llista de distribució Iwetel: <http://listserv.rediris.es/cgi-bin/wa?A2=ind1209C&L=IWETEL&P=R24265&1=IWETEL&9=A&J=on&d=Ninguna+coincidencia%3BCoincidir%3BCoincidencias&z=4>.