Versión para impresión
Jordi Ardanuy
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona
Severinson, Peter (2017). Approaches to assessing impacts in the humanities and social sciences. Ottawa: Federation for the Humanities and Social Sciences = Fédération des sciences humaines. 28 p. Disponible en: <http://www.ideas-idees.ca/sites/default/files/impact_report_en_final.pdf>. [Consulta 09/12/2018].
Desde hace unos años se está produciendo un debate internacional cada vez más intenso sobre cómo hay que evaluar realmente el impacto de la investigación científica, especialmente en las disciplinas de humanidades y ciencias sociales (HCS). La Federation for the Humanities and Social Sciences canadiense, que representa una comunidad de más de 90.000 personas entre investigadores y estudiantes de postgrado de universidades de todo el Estado, alienta y participa de este intercambio de ideas y elaboración de propuestas. En 2014 ya publicó un documento de trabajo sobre el tema1 del cual, de hecho, el informe que ahora mencionamos es complementario y de seguimiento.
Los objetivos del presente documento son la identificación y el análisis de los beneficios previstos en la evaluación del impacto de la investigación; los riesgos potenciales de los sistemas de evaluación defectuosos; las características propias de las disciplinas de HCS que afectan a la evaluación del impacto de su investigación; y, las fortalezas y debilidades de los diferentes enfoques de evaluación. El documento examina los factores clave y concluye con un conjunto de recomendaciones sobre cómo enfocar la evaluación en estas áreas. Además, también incluye una serie de casos hipotéticos de carácter ilustrativo inspirados en las experiencias reales de investigadores canadienses, que quieren mostrar ejemplos explícitos de formas de impacto y de cómo se genera en diferentes escenarios.
El documento parte de la consideración que el impacto hay que entenderlo como la influencia que tiene la creatividad y la investigación sobre la sociedad, tanto si esta influencia está o no planificada, o bien si es inmediata o a largo plazo.
El alcance del impacto se estructura en cinco ámbitos diferentes:
- Mundo académico-científico
- Desarrollo de habilidades, a través de la enseñanza y la guía a nivel de grado y postgrado
- Economía
- Sociedad y cultura
- Praxis y apoyo al desarrollo de políticas por parte de la administración
Este marco tan amplio pone de relieve que el impacto puede ser muy diverso e indirecto en muchos casos, por lo que resulta complicada de manera inherente la definición operativa de lo que es impacto a la vez que de difícil atribución y cuantificación. Esta complejidad presenta, por tanto, grandes desafíos, pero también oportunidades de mejora. Así, puede fomentar una mejor comunicación del valor del trabajo académico; aumentar los impactos beneficiosos en la sociedad; mejorar la colaboración entre académicos y profesionales; apoyar el desarrollo de nuevas formas de investigación y enseñanza y la toma de decisiones administrativas; y, finalmente, permitir justificar mejor la rendición de cuentas a la sociedad.
El documento menciona los riesgos de los procesos de evaluación defectuosos que pueden infravalorar el trabajo de los investigadores y producir severas consecuencias dañinas. Un ejemplo, bastante conocido aquí, es el del caso de una profesora o un profesor a quien se le evalúa o reconoce su labor desarrollada principalmente a partir del número de artículos de revista publicados y de las citaciones que puede conseguir, y que lógicamente no estará demasiado dispuesto a la inversión de tiempo en otras tareas como la docencia, participación en fórums públicos, apoyar con evidencias a la administración y otras actividades no directamente remuneradas que puedan expandir el impacto social positivo del trabajo científico. Directamente relacionado con esto, hay que sumar que si el sistema de evaluación es sesgado puede generar con relativa facilidad comportamientos estratégicos para aprovecharse de las reglas, con el consiguiente daño al valor de los resultados del sistema de evaluación.
Directamente ligado al punto anterior, el documento señala que los indicadores bibliométricos presentan ciertas limitaciones y que no es recomendable establecer comparaciones entre disciplinas a causa de las diferentes prácticas de publicación y citación. No obstante, señalan que los datos bibliométricos pueden ser valiosos cuando se utilizan juntamente con otros indicadores cualitativos.
Un aspecto fundamental a la hora de considerar la atribución del impacto académico es que los efectos de la investigación y la enseñanza a menudo se perciben solo después de largos períodos de tiempo, y a menudo son el resultado de los esfuerzos acumulativos de muchos estudiosos. Por eso, pocas veces es posible establecer conexiones causales precisas entre un trabajo académico en particular y su impacto social final. Por otra parte, en muchas investigaciones los impactos están fundamentalmente vinculados a las contribuciones y experiencias de los que están fuera de la comunidad académica. Por este motivo los esfuerzos para conseguir, evaluar y comunicar el impacto de la investigación deben tener en consideración estos colaboradores no académicos que ayudan a producir la investigación; los profesionales que implementan sus resultados; y los usuarios finales que se benefician del impacto de la investigación.
El documento concluye con cinco recomendaciones:
- Definición del impacto en un sentido amplio de manera que reconozca las diversas dimensiones del término en todas las áreas temáticas y disciplinas. Esta comprensión debe permitir fundamentar correctamente un enfoque flexible y pluralista de la evaluación del impacto.
- Utilización de conjuntos de indicadores diversos y flexibles, procedentes del uso de métodos cualitativos y cuantitativos. Ningún conjunto concreto y limitado de indicadores será capaz de comprender los impactos complejos y de amplio alcance, por tanto tendrán también que evolucionar.
- Los propios investigadores deben ejercer un papel de liderazgo en la descripción del impacto de su trabajo, junto con colaboradores y los usuarios de los resultados de la investigación. Teniendo en cuenta la diversidad de áreas de investigación en HCS, el rango del impacto potencial que puede tener el trabajo y la cantidad de indicadores que pueden llegar a utilizarse, los propios académicos deberán ejercer un papel de liderazgo en la selección de los indicadores concretos que mejor pueden captar el impacto de cada trabajo.
- Evaluación de los impactos colectivos. El impacto de la actividad académica en HCS tiene como característica substancial que se constata a menudo después de largos períodos de tiempo y como resultado de los esfuerzos acumulativos de muchos investigadores. Esta característica crea importantes limitaciones para atribuirlo a una académica o un académico. Reconociendo esto, las evaluaciones del trabajo de HCS deben incluir la consideración del impacto colectivo y de largo plazo, como por ejemplo la participación en equipos de investigación, en campos de investigación o las instituciones.
- Desarrollo de apoyos institucionales para permitir una evaluación de impacto efectiva. La evaluación del impacto de la labor académica implica un esfuerzo complejo y desafiante. El diseño de cualquier sistema de evaluación de impacto debe incluir mecanismos para gestionar la carga asociada. Mientras que, como ya se ha indicado, los académicos deben ejercer un papel de liderazgo en la determinación de cómo se evalúa su labor, los actores administrativos dentro de las universidades y las agencias públicas deben proporcionar los apoyos adecuados para garantizar que las demandas de la evaluación no hagan disminuir indebidamente la capacidad del profesorado en la participación de otras actividades valiosas.
Pero, a pesar de su interés, estas recomendaciones no proporcionan un conjunto completo de respuestas. Queda lejos del que podríamos considerar el Santo Grial de la evaluación de la investigación en HCS. El propio informe indica que hace falta todavía un volumen de investigación significativa para poder identificar los indicadores más relevantes y útiles en cada campo del conocimiento.
1 The Impacts of humanities and social science research (2014). [Consulta 09.12.2018].
