Ampliando el círculo: la incorporación de medidas alternativas a la evaluación de la investigación

WOUTERS,P.; COSTAS, R. Users, narcissism and control: tracking the impact of scholarly publications in the 21st entury. Utrech: SURFfoundation, 2012

¿CUÁL ES EL IMPACTO DE MI INVESTIGACIÓN? Esta pregunta ha intrigado siempre a estudiosos y científicos de todas las disciplinas. Durante la mayor parte de la historia de la ciencia, fue una pregunta difícil de contestar. Sencillamente, era demasiado complicado saber quién estaba leyendo el trabajo de uno, al margen del círculo, relativamente pequeño, de colegas cercanos. Esto ha cambiado completamente en los últimos años con el impacto de las nuevas tecnologías de la información y la aparición de Internet. Hoy en día, la comunicación de los trabajos científicos utiliza, no sólo vehículos tradicionales como los libros y las publicaciones periódicas, sino también otras formas de comunicación textual menos formales, características del entorno digital, que se ven impulsadas cada vez más por la Web social. Investigaciones que solían tardar meses o incluso años en llegar a los lectores, pueden ser conocidas casi instantáneamente vía blogs y Twitter.

Pero el actual sistema de evaluación de la investigación, basado esencialmente en el análisis de citas, no refleja estas nuevas formas de trabajo y comunicación. Este tipo de actividad queda fuera del alcance de indicadores e instrumentos tradicionales como el factor impacto, los índices de citas y los rankings que, centrados en el análisis de los productos científicos difundidos a través de canales formales, permanecen al margen de estas otras redes de intercambio, menos visibles pero, a menudo, más importantes a la hora de valorar el impacto de un determinado trabajo, tejidas a través de conexiones personales y comunicaciones informales desarrolladas en la red.

Es evidente que se necesitan nuevos métodos y medidas de evaluación de la investigación adaptados al entorno Web, que complementen a las tradicionales medidas bibliométricas, y permitan valorar estas formas de intercambio cada vez más generalizadas. Conocidas como "medidas alternativas" o "altmetrics", se basan en el uso de la información científica en los medios de comunicación sociales y, actualmente, se han convertido en objeto de estudio preferente entre los investigadores de la evaluación de la ciencia, tal como muestran los numerosos estudios aparecidos recientemente sobre este tema.

Es en este contexto de generalización de nuevas formas de intercambio científico en el entorno Web y búsqueda de nuevos instrumentos para su medida y evaluación donde podemos situar el informe elaborado por Wouters y Costas. Impulsado por la organización de universidades holandesas SURF como parte de su programa SURFHARE, este estudio se sitúa dentro de la línea de trabajo centrada en la investigación de nuevas formas de medir la calidad y el impacto de los productos científicos. Tal como se explicita en la introducción, el informe se centra en el análisis de diferentes herramientas de rastreo que han acompañado la aparición de productos informativos basados en la Web, tratando de de establecer hasta qué punto pueden superar las limitaciones de las actuales medidas de impacto y convertirse en medidas alternativas que las complementen.

Desde esta perspectiva y como punto de partida del estudio, en el segundo capítulo se exploran las principales limitaciones de estas medidas tradicionales, centrándose en el análisis de citas, generalizado desde los años 80 como el principal indicador del impacto de la investigación. El análisis de estas limitaciones va a servir de telón de fondo para plantear las principales cuestiones del estudio, que gravitan todas ellas sobre el potencial real de las medidas emergentes para mejorar la evaluación del impacto. La respuesta a estas preguntas va a articular el contenido y las conclusiones del informe.

Con este objetivo, se aborda en el tercer capítulo lo que constituye el núcleo del trabajo y, sin duda, su principal aportación: el análisis detallado y sistemático de las nuevas herramientas online que podrían utilizarse en la evaluación del impacto de las publicaciones científicas.

Entre los 16 instrumentos incluidos en el estudio podemos encontrar desde reputados sistemas de revisión por pares hasta servicios gratuitos de suministro de citas. Entre los primeros estarían herramientas como la nueva Web Faculty of 1000 (F1000) que proporciona revisiones y rankings de publicaciones biomédicas; Peer Evaluation que podría considerarse la versión abierta y gratuita del anterior; o PaperCritic que además de ofrecer la posibilidad a los investigadores de clasificar y revisar las publicaciones, actúa como un sistema de gestión de referencias. Entre los segundos, cabe señalar Google Scholar, posiblemente el motor de búsqueda más popular en el entorno académico, así como el nuevo servicio que ha puesto en marcha, Google Citations, que permite obtener las citas de un trabajo a partir de las menciones incluidas en la base de datos de Google Scholar; la herramienta competitiva desarrollada por Microsoft, el Microsoft Academic Search, similar a las anteriores; o PLoSOne que proporciona numerosas estadísticas de uso y citas de artículos incluidos en sus publicaciones periódicas. Junto a estas herramientas, podemos encontrar otras con perfiles diferentes como TotalImpact que aspira a presentar el "impacto invisible" de artículos científicos sobre la base de un documento ID, o sistemas avanzados de gestión de referencias como Mendeley y Zotero, entre otros.

Para cada uno de ellos se indican sus principales características, las posibilidades que ofrecen y los problemas que plantean al ser utilizados en la evaluación de la actividad investigadora, siguiendo un patrón sistematizado de análisis que abarca aspectos como la cobertura, las opciones de búsqueda y filtrado, la descarga y exportación de datos, las características de la interfaz, las posibilidades de obtener indicadores, o el grado de normalización.

Los resultados de este exhaustivo y laborioso ejercicio de evaluación se recogen en una excelente tabla resumen con la que se cierra este tercer capítulo, y en la que se incluyen hasta 22 características de las herramientas analizadas, permitiendo la comparación entre ellas.

El informe finaliza con un último capítulo en el que, en primer lugar, se sintetizan las principales conclusiones extraídas del análisis anterior, indicando las fortalezas y debilidades identificadas. Según los autores, muchas de estos instrumentos tienen una interfaz de usuario atractiva y la mayoría pueden utilizarse libremente, aunque algunos puedan requerir algún tipo de registro previo. Además, todos ellos proporcionan alguna medida a nivel de artículo, manuscrito o libro. Estas tres características los convierten en herramientas atractivas para los investigadores a nivel individual, ya que les permiten obtener con rapidez evidencias estadísticas sobre el impacto, el uso o la influencia de sus trabajos, sin demasiado esfuerzo. Es decir, resultan muy útiles como "tecnologías del narcisismo", entendidas como aquellas que permiten al investigador realizar una autoevaluación, aunque limitada, del impacto que tiene su trabajo.

Sin embargo, también presentan algunas desventajas muy importantes. La primera es la dificultad que presentan la mayoría de estas herramientas para poder comprobar la exactitud e integridad de los datos que manejan, lo que condiciona la calidad de las estadísticas e indicadores que generan; el segundo problema está relacionado con los problemas que tienen para producir indicadores de impacto normalizados y la consiguiente dificultad para compararlos o extrapolarlos; y el tercero con la limitación que suelen presentar en la cobertura de los datos y su falta de transparencia. Estos y otros problemas que podrían señalarse en cuanto a la gestión y la descarga de los datos, dificultan en gran medida su uso como "tecnologías de control", utilizadas en la evaluación formal de la investigación. Para ser consideradas como tales deberían adherirse a un protocolo mucho más estricto en cuanto a la calidad de los datos y la precisión y validez de los indicadores.

Más allá de estas limitaciones, los autores presentan cuatro importantes argumentos a favor del uso de estas medidas alternativas: el primero es su diversidad y capacidad de filtrado, necesarios para poder rastrear las variadas formas de comunicación científica que se han generalizado en la Web; el segundo es la velocidad, ya que a diferencia de las medidas habituales, permiten obtener casi al instante una medida del impacto de una publicación; el tercer argumento, más político que técnico, es el de la apertura; y el último radica en el hecho de que muchos indicios de la actividad científica en la Web resultan útiles para medir determinados aspectos del impacto de la investigación y no pueden ser capturados por el análisis de citas o la evaluación por pares.

Ante esta constatación, finalizan el informe con una serie de recomendaciones orientadas a favorecer la evolución y transformación de estas medidas alternativas desde su condición de "tecnologías del narcisismo" a "tecnologías de control", de modo que puedan conseguir una mayor aceptación y respaldo entre la comunidad científica. Para ello apuntan tres líneas principales de investigación en este ámbito: la primera y más importante, sería la creación de un sólido entramado conceptual que sirviera de base para la validación de las nuevas medidas desarrolladas; la segunda, de carácter más metodológico, estaría relacionada con la normalización de los instrumentos y datos existentes; y la tercera y última apuntaría a la producción, normalización y uso de las nuevas medidas.

Me gustaría terminar la reseña de este informe, destacando su carácter pionero ya que, tal como indican los autores, se trata del primer análisis de estas características realizado hasta la fecha. Si a ello añadimos su grado de actualidad, así como su utilidad y proyección para todos aquellos que estamos embarcados en la aventura de la investigación y cada vez más presionados por demostrar el grado de visibilidad e impacto de nuestro trabajo, se trata, sin duda, de un documento de gran interés, cuya lectura es muy recomendable.