|
Ar@cne |
RANKINGS
MUNDIALES DE UNIVERSIDADES:
OBJETIVOS Y CALIDAD
Karsten Krüger
Fundación
Bosch i Gimpere
Universidad de Barcelona
<kkruger@fbg.ub.es>
Alba Molas
Alba
e.V.
<albamolas@yahoo.de>
Rankings mundiales de universidades: objetivos y calidad (Resumen).
En todos los ámbitos educativos e investigadores, se ha puesto de moda elaborar rankings (o clasificaciones ordenadas) evaluando y comparando la calidad de las instituciones o de los sistemas. También en el ámbito universitario han proliferado en la última década rankings tanto a escala mundial como a escala nacional debido: a) a la globalización de la competición entre universidades dentro del contexto de la sociedad del conocimiento globalizado; b) a la creciente demanda de información comparable por parte de los ‘clientes’ (por ejemplo, los estudiantes y sus familias); c) la creciente demanda por parte de los gobiernos y de la sociedad a una mayor responsabilidad de la universidades frente a la sociedad, lo cual se traduce en mayores exigencias de calidad de los servicios prestados a la sociedad.
Este artículo presenta los resultados de una búsqueda de rankings en Internet y de su trasfondo metodológico. El objetivo es: a) presentar diferentes rankings, b) analizar sus objetivos y metodología, y c) efectuar un crítica constructiva. Éste es el primero de dos artículos dedicado solamente a rankings internacionales, mientras que el segundo se centrará en las clasificaciones de las universidades españolas. El núcleo del artículo es la presentación de diez rankings internacionales en forma de fichas para facilitar al lector una información resumida; además, se divide en 4 capítulos: objetivo, metodología, presentación y comentarios. En el apartado final, comparamos los diferentes rankings y discutimos su validez haciendo referencia también a artículos disponibles en línea y de acceso libre referente al tema.
El artículo resalta la importancia de los rankings como instrumentos de la política educativa y científica global aportando, sin embargo, una visión crítica a los rankings, reconociendo, al mismo tiempo, que pueden tener una función importante para mejorar las actuaciones de las universidades siempre y cuando anuncian bien: los objetivos de los rankings, el tipo de universidad a que se refieren, el ámbito concreto de la evaluación, la metodología utilizada y que permitan realmente introducir mejoras en las universidades al nivel de las facultades y departamentos.
Palabras clave: Rankings, evaluación, universidad mundial, política universitaria.
Rànquing mundials d’universitats: objectius i qualitat (Resum).
En tots els àmbits educatius i d’investigació s’ha posat de moda elaborar ránquings, és a dir, classificacions ordenades, avaluant i comparant la qualitat de les institucions o bé dels sistemes. També en l’àmbit universitari els ránquings han proliferat en l’última dècada, tant a escala mundial, com a escala nacional degut : a) a la globalització de la competició entre universitats dins del context de la societat del coneixement globalitzat; b) a la creixent demanda d’informació comparable per part dels ‘clients’ (per exemple, els estudiants i les seves familias); c) la creixent demanda per part dels governs i de la societat d’una major responsabilitat de les universitat enfront de la societat, la qual cosa es tradueix en majors exigencies de qualitat dels serveis prestats a la societat.
Aquest article presenta els resultats d’una cerca de ránquings a l’Internet i del seu rerefons metodològic. L’objectiu és: a) presentar diferents ránquings, b) analitzar els seus objectius i metodologia, i c) efectuar una crítica constructiva. Aquest és el primer de dos articles, dedicat solament a ránquings internacionals, mentre que el segon es centrarà en les classificacions de les universitats espanyoles. El nucli de l’article és la presentació de deu ránquings internacionals en forma de fitxes per a facilitar al lector una informació resumida i dividida en 4 capítols: objectiu, metodologia, presentació i comentaris. En l’apartat final, comparem els diferents ránquings i discutim la seva validesa, fent referencia també a articles sobre el tema, disponibles en línia i de lliure accés.
L’article ressalta la importància dels ránquings com a instruments de la política educativa i científica global, però aportant una visió crítica als ránquings, reconeixent, al mateix temps, que poden tenir una funció important en la millora de les actuacions de les universitats, sempre i quan anunciïn bé: els objectius dels ránquings el tipus d’universitats a que es refereixen, l’àmbit concret de l’avaluació, la metodologia emprada i que permetin realmente introduïr millores en les universitats , a nivell de les facultats i dels departaments.
Paraules claus: Ránquings, avaluació, universitat mundial, política universitària.
World rankings of universities: aims and quality (Abstract).
In all areas of education and research has coming up the trend to elaborate rankings evaluating and comparing the quality of institutions and systems. Also in the area of universities has growing, in the last decade, the number of world and national ranking due to: a) the globalization of the competition between universities within the context of a globalised knowledge economy; b) the increasing demand for comparable information from the ‘clients” (for instance: students and their families); c) the increasing demand from part of the governments and the society of a mayor responsibility of the university in front of the society, which conduced to mayor quality demand of the universities’ services to society.
This article presents the results of the Internet search for rankings and their methodological backgrounds. The objectives are a) to present different rankings; b) to analyse their objectives and methodology and c) to provide a constructive but critical view on them. This is the first of two articles about university rankings. This one focused only on international rankings, whereas the second will be about the rankings of Spanish universities. In the core of this article stands the presentation of 10 international rankings in the format of fiches in order to facilitate summarized information to the lector. The fiches are divided in 4 parts: objective, methodology, presentation and comments. In the final chapter, we will compare the different rankings and discuss their validity taking into account articles on this issue freely available in Internet.
The article underpins the relevance of rankings as instruments of global education and science policies bring in a critical vision admitting, however, that rankings could fulfil a important function in the improvement of the universities’ performance when they announced well: the objective of the ranking, the type of universities to which they refer, the concrete area of the evaluation, the used methodologies and when they permit really to face improvements in the universities at the level of faculties and departments.
Key words: Rankings, evaluation, world university, university policy.
Globale hochschulrankings: zielsetzung und qualität (Zusammenfassung).
In allen Bildungs und Wissenschaftsbereichen ist eine Trend zur Erstellung von Rankings zu beobachten, mit denen die Qualität von Institutionen und Systemen vergleichend bewertet werden sollen. Auch im Universitätsbereich hat sich in den letzten Jahren die Anzahl der weltweiten und nationalen Rankings erhöht. Dies ist geschuldet: a) dem weltweiten Wettbewerb unter den Universitäten im Rahmen der globalisierten Wissenswirtschaft; b) der wachsenden Nachfragen nach vergleichbaren Informationen seitens der ‘Kunden’ (zum Beispiel Studenten und ihren Familien); c) der stärker werdenden Forderung seitens der Regierungen und Gesellschaft nach einer höheren Verantwortlichkeit der Universitäten gegenüber der Gesellschaft, die zu höheren Ansprüchen an die Qualität der universitären Dienstleistungen führt.
In diesem Artikel werden die Ergebnisse einer Internetsuche über Rankings und den ihnen zu Grund liegenden Methodologien vorgestellt. Ziel ist es, a) verschiedenen Rankings zu beschreiben; b) die Objektive und Methodologien zu analysieren; und c) einen kritisch- konstruktiven Blick auf sie zu werfen. Es ist der erste von zwei Artikeln. Während dieser sich ausschließlich mit internationalen Rankings beschäftigt, hat der Zweite spanischen Klassifikationen zum Gegenstand. Im Zentrum dieses Artikels steht die Beschreibung von zehn internationalen Rankings in Form von Fiches. Absicht ist es den Lesern, Informationen in zusammengefasster Form, in vier Abschnitte unterteilt, vorzulegen: Ziele, Methoden, Darstellung und Kommentare. Im abschließenden Kapitel werden dann die Rankings verglichen und auf ihre Stichhaltigkeit hin untersucht. Dabei werden auch Artikel zu diesem Themen herangezogen, die frei im Internet zugänglich sind.
Der Artikel stellt die Bedeutung der Rankings als Instrument der globalen Bildungs- und Wissenschaftspolitik heraus, unterwirft sie aber einer kritischen Betrachtung. Gleichwohl wird anerkannt, dass sie eine wichtige Funktion bei der Verbesserung der universitären Performance haben können, wenn sie deutlich machen: welches ihre Zielsetzungen sind, welchen Universitätstypus sie bewerten, welchen konkreten Funktionsbereich sie bewerten, welche Methoden sie anwenden, und sie wirklich einen Beitrag zur Verbesserung der universitären Leistungsbilanz auf der Ebene der Fakultäten und Abteilungen erstellen.
Schlagwort: Rankings, evaluation, weltuniversität, hochschulpolitik.
Introducción
En todos los ámbitos educativos e investigativos, se ha puesto de moda elaborar rankings (o clasificaciones ordenadas) evaluando y comparando la calidad de las instituciones o de los sistemas. Un ejemplo muy conocido son los diferentes estudios PISA para la educación secundaria. A pesar de que su enfoque central no ha sido la elaboración de una clasificación, su efecto mediático ha sido la discusión del lugar que ocupa un país o una región. Otros ejemplos en el ámbito universitario son el Academic Ranking of World Universities (conocido como Shanghai Index o AWRU) o el World University Ranking del Times Higher Education Supplement (THES-Ranking). Y la Unión Europea ha puesto en marcha recientemente un proyecto ambicioso para elaborar una propuesta europea de ranking y estudiar su fiabilidad. También se ha creado un observatorio internacional de ranking académico y de excelencia (International Observatory on Academic Rankings and Excellence -IREG-: www.ireg-observatory.org)[1].
Éstas y otras clasificaciones ordenadas comparan universidades o facultades a través de indicadores numéricos basado en citas, impacto y ganadores de premios, usando indicadores ponderados para construir un indicador sintético que luego permite ordenar las instituciones según el mejor rendimiento detectado. La creciente importancia de las clasificaciones y su proliferación se debe, según Ellen Hazelkorn (2008), a) a la globalización de la competición entre universidades dentro del contexto de la sociedad del conocimiento globalizado; b) a la creciente demanda de información comparable por parte de los ‘clientes’ (por ejemplo, los estudiantes y sus familias); c) la creciente demanda por parte de los gobiernos y de la sociedad a una mayor responsabilidad de la universidades frente a la sociedad, lo cual se traduce en mayores exigencias de calidad de los servicios prestados a la sociedad. A esto se puede añadir que la simplicidad de los rankings favorece su impacto mediático.
Supuestamente, el uso de un número limitado de indicadores permite a las universidades obtener información sobre su posición en relación con otras universidades, lo que les convierte en un tipo de herramienta de navegación tanto para las universidades como para los políticos y agentes responsables de los sistemas de educación superior nacionales y regionales[2]; para los actores sociales con influencia en el proceso de decisión y para sus ‘clientes’[3]. Lindblat (2008) llama la atención sobre el hecho de que los mecanismos de distribución de los recursos entre las universidades dentro del sistema sueco de educación superior se basan en indicadores de rendimiento similar a los utilizados por los rankings. En este sentido, los rankings y los mecanismos de valoración de los sistemas de educación superior no solamente describen la posición de las universidades particulares en estos sistemas, sino que tienen un impacto sobre las mismas actuaciones de las universidades[4]. Hazelkorn llega a una conclusión similar, constatando que los rankings provocan un amplio abanico de cambios en la educación superior y sus sistemas[5].
En este contexto de creciente interés por las clasificaciones ordenadas de las universidades, este artículo presenta los resultados de una búsqueda de ellos en Internet y de su trasfondo metodológico. El objetivo es: a) presentar diferentes rankings, b) analizar sus objetivos y metodología, y c) efectuar una crítica constructiva.
Se trata del resultado de un programa de varios estudios sobre las universidades y la enseñanza superior, en el que se están elaborando varios artículos basados en los resultados de proyectos internacionales[6]. Uno ya está publicado por el instituto de investigación navreme[7], y éste es el primero de dos artículos sobre rankings de universidades. Este artículo está dedicado solamente a rankings internacionales, mientras que el segundo, se centrará en las clasificaciones de las universidades españolas.
El artículo empieza con una breve descripción del contexto político, resaltando la importancia de los rankings como instrumentos de la política educativa y científica global. Los ‘Berlin Principles on Ranking of Higher Education Institutions’ (2006) exponen claramente que ellos aportan un enfoque de mercado al proceso de evaluación de las instituciones educativas, pero, como veremos a continuación, no se trata solamente del enfoque de mercado –aplicar principios de competitividad no es necesariamente malo– sino que muchos de ellos promueven un cierto tipo de universidades que se ha impuesto en el discurso político como modelo a seguir.
Se enmarca también la tendencia creciente hacia las clasificaciones en la política educativa y científica basada en el control del contexto de las instituciones a través de evaluaciones externas regulares y benchmarks. Estas políticas dejan aparentemente más margen de decisión a las instituciones para cumplir su misión social, pero a través de los benchmarks y procedimientos de evaluación se limita de nuevo este margen de decisión. En otras palabras, se trata de un juego de tendencias contradictorias: mayor margen de autoorganización pero dentro de un margen de maniobra más acotado políticamente.
En el segundo apartado se presentan 10 rankings internacionales en forma de fichas. El objetivo es facilitar al lector una información resumida y dividida en 4 capítulos: objetivo, metodología, presentación y comentarios. De esta forma, el lector tendrá una impresión de las características, ventajas y problemas de las diferentes clasificaciones.
A partir de estos ficheros, en el apartado final, comparamos los diferentes rankings y discutimos su validez haciendo referencia también a artículos disponibles en línea y de acceso libre referente al tema.
Rankings como instrumentos de política educativa y científica
La creciente relevancia de los rankings se debe, en parte, a su efecto mediático, pero también está enmarcada en la política de establecer indicadores y benchmarks para comparar la evolución de estrategias políticas, sistemas e instituciones. Un benchmark es un punto de referencia para hacer comparaciones y se interpreta, generalmente, como un buen estándar para medir el rendimiento de productos, procesos, programas, organizaciones, instituciones o sistemas[8]. Benchmarking es, según la American Society for Quality, un proceso a través del cual una organización puede comparar su rendimiento con la mejor organización de su clase, determinar como esta organización ha conseguido su nivel de rendimiento y utilizar esta información para mejorar el propio[9]. Por lo tanto, establecer puntos de referencia o hacer benchmarking implica: a) que se ve la relación entre diferentes organizaciones, instituciones o sistemas como una competición para saber quién es el mejor; b) que se pueden establecer parámetros para saber quién es el mejor; c) que, a través de la comparación con el mejor, se puede aprender y mejorar el propio rendimiento; y d) que existe, en principio, una mejor forma de actuar para conseguir los objetivos establecidos.
Aplicar el benchmarking en la administración y gestión pública implica la creación de una cuasi-competición que se orienta al modelo del mercado económico[10] y que se basa en la comparación tanto de factores de entradas y salidas como de salidas de diferentes instituciones o de la misma institución en diferentes períodos temporales. En este sentido, es un procedimiento muy específico de evaluación comparativa. Y los rankings[11] son, en cierta forma, un tipo específico del benchmarking clasificando los objetos evaluados con base en indicadores (numéricos) determinados. Por otro lado, una clasificación ordenada podría ser también un paso previo en el proceso de benchmarking, determinando cuales son los mejores productos, programas, organizaciones, instituciones o sistemas. Por lo tanto, el objetivo político del benchmarking y del ranking en el ámbito de la administración pública, incluyendo la educación, es introducir una cuasi-competencia entre las instituciones públicas induciendo de esta forma un proceso (continuo) de mejoras.
La elaboración de estas clasificaciones se enmarca en la creciente tendencia a realizar evaluaciones, sobre todo, en el ámbito de la educación. Por un lado, cualquier sistema educativo se basa en las evaluaciones de los alumnos para seleccionar las personas, tanto internamente como para otros sistemas educativos (por ejemplo el paso del bachillerato a la universidad) u otros sistemas (p.ej. del mercado laboral). Por otra parte, hay una marcada tendencia en todos los países europeos a crear sistemas de evaluación externa de los sistemas educativos y de sus instituciones así como de los sistemas de investigación y de sus instituciones.
En principio, parece que hay acuerdo en que las evaluaciones del sistema educativo y de investigación podrían aportar algo positivo a los sistemas y organizaciones evaluadas, para que se mejore la calidad de la educación o de la investigación. Sin embargo, más allá de estas declaraciones generales respecto al valor de las evaluaciones, queda poco claro, en muchos casos, cuáles son los objetivos concretos de las evaluaciones y, por ende, de los rankings y cuales son los principios en que se basan estas evaluaciones.
R. Münch (2009) vincula la evaluación de PISA[12] y el proceso de Bolonia con la emergencia de una élite transnacional de expertos educativos que impone una visión educativa muy específica. Los dos procesos – tanto PISA como Bolonia - están enmarcados en la difusión de una visión guía de educación, impulsada por un grupo de expertos e instituciones que forman redes transnacionales. Dentro del discurso general sobre la creciente importancia de la educación y la formación, estas redes abogan por el concepto de capital humano como paradigma para las estrategias nacionales en dichos ámbitos. De esta forma, el modelo de la expansión de la educación general se ha convertido globalmente en el modelo estándar. Nadie duda que la expansión de la educación general debe ser un objetivo general de todas las políticas educativas[13]; pero lo que no queda tan claro es si la expansión general de la educación universitaria debe ser también un objetivo general, sobre todo si ella va en detrimento de una formación profesional diferenciada. Según Münch (2009), hasta ahora, no se ha aportado ninguna prueba de que este modelo sea mejor, comparado con otros modelos más diferenciados como el alemán, en términos de crecimiento económico, amplia inclusión social o una mayor participación de los ciudadanos en los proceso democráticos[14]. En este sentido, el análisis de los efectos deseados y no-deseados de la expansión de la educación superior debe basarse en un enfoque más integral estudiando paralelamente el desarrollo de la formación profesional.
Bajo este paradigma se están divulgando conceptos educativos muy determinantes, que están más cerca de los modelos anglosajones basados en competencias básicas generales. Analizando los resultados de PISA 2000, Münch (2009) argumenta que la orientación a estas competencias generales es ajena al currículo escolar alemán en los ámbitos de las matemáticas, de la lectura y de las ciencias naturales. Por ejemplo, en matemáticas los alumnos alemanes obtienen buenos resultados en las preguntas que se refieren a áreas especificas de las matemáticas como la geometría euclidiana, pero no tan buenos en cuanto a las preguntas básicas de las matemáticas. Las pruebas PISA, no obstante, están influidas por la “realistic mathematics education”, dominante especialmente en los EE.UU. y el Reino Unido, que ponen en el centro de sus pruebas las competencias cognitivas generales argumentado, que se trata de ejercicios más exigentes comparados con los ejercicios ‘más técnicos’ de algunas áreas específicas de las matemáticas.
En principio, se trata de un proceso de profecías que se auto-cumplen: el diseño de las pruebas induce a que los sistemas educativos diferentes al paradigma-guía del diseño obtengan peores resultados. Münch (2009) muestra que este mecanismo funciona también en el ámbito de lectura y de las ciencias naturales. Lo problemático de este enfoque es que, dado que el estudio PISA se realiza en nombre de la OECD y de sus países miembros, los resultados negativos ejercen una presión sobre los sistemas educativos nacionales para adaptarse a los estándares que están detrás del estudio. Solamente en este caso, los resultados mejoran[15].
Sin embargo, aquí no nos interesan las críticas internas a la evaluación de los sistemas educativos del proyecto PISA. Lo importante de este caso es que la evaluación está ligada a un cierto programa de política educativa y tiene la función de promover dicho programa. Ese hecho en sí mismo no es reprochable, todas las evaluaciones deben tener una base de que partir, pero hay que anunciarlo para que otros pueden apreciar el verdadero alcance de los resultados evaluativos[16].
Las evaluaciones se pueden diferenciar, en términos generales, en tres grandes bloques según el tipo del sujeto que se evalúa:
1) La evaluación de proyectos o programas es un procedimiento orientado a valorar el éxito o los resultados de un proyecto o un programa. En términos generales, los proyectos son actuaciones que se desarrollan durante un tiempo limitado, mientras que los programas son a mediano y largo plazo. El proceso de evaluación desempeña un papel importante en la toma de decisiones respecto a la prolongación del proyecto o programa y aborda -por lo menos en el caso del programa -la pertinencia de aplicar estrategias o instrumentos similares a otros ámbitos de actuación.
2) La evaluación de organizaciones se orienta, sobre todo, a la mejora de los procedimientos aplicados en las organizaciones y, por lo tanto, a la calidad de la organización. La cuestión no es la prolongación de la existencia de la organización, sino su reestructuración a mediano y largo plazo con el objetivo de mejorar su calidad.
3) La evaluación de productos está enfocada a la mejora de una producto material o inmaterial. Generalmente se trata de una evaluación para ver la utilidad del mismo para un consumidor. El objetivo es mejorar la aceptación del producto entre un público determinado.
Parece difícil clasificar la evaluación de las universidades en este esquema. Las universidades podrían entenderse como un programa educativo de muy larga duración respondiendo a necesidades educativas y formativas, pero también científicas y tecnológicas, de la sociedad. Sin embargo, las necesidades educativas y formativas de la sociedad cambian a lo largo del tiempo, lo que debe reflejarse en el programa “universidad”. Además, tanto la sociedad como las universidades son entidades sociales muy complejas que no pueden reducirse a una necesidad y un aspecto del programa.
La evaluación de las universidades como organizaciones presenta una problemática parecida a la de la evaluación del programa. La mejora de los procedimientos de la organización depende de cual sea la meta de la misma, la que, en el caso de las universidades, depende a su vez de las necesidades educativas, científicas y tecnológicas de la sociedad. Satisfacer estas necesidades complejas y muchas veces contradictorias es una tarea igualmente compleja y complicada, además, en consecuencia, también lo es la evaluación de la universidad como organización.
La evaluación de las universidades considerándolas como producto o servicio parece más simple que los dos tipos de evaluación anterior. Sin embargo, este tipo de evaluación implica definir la relación entre universidad y sociedad en términos de mercado como proveedora de servicios, es decir universidad y cliente de servicios, a saber, la sociedad, la economía o los ciudadanos. Pero, como en los dos tipos de evaluaciones anteriores, el asunto se complica por el hecho de que la universidad no está orientada solo a un tipo de servicios sino a una variedad de ellos. Y tampoco queda claro quién es realmente el cliente de estos servicios, dado que la sociedad en general está compuesta por una variedad de sistemas sociales como la economía, la cultura, la religión etc.
La solución que adoptan las diferentes evaluaciones que se revisan a continuación consiste en reducir el campo de evaluación. Tomando de nuevo el ejemplo de PISA, se trata de una evaluación de servicios enfocada a la creación de capital humano para la sociedad en términos de competencias matemáticas, competencias lectoras y competencias de ciencias naturales. Se aplica esta evaluación a todos los sistemas educativos, independientemente de si están orientados realmente a este tipo de servicio. Como veremos más adelante, también las dos evaluaciones internacionales de universidades más conocidas el AWRU y el THES-QS son más bien evaluaciones de producto/servicio. En el primer caso del producto científico y, en el segundo, de un conjunto de productos científicos y educativos.
No queremos entrar aquí en una discusión detallada sobre los distintos conceptos y enfoques evaluativos, sino centrarnos ahora en la evaluación de producto, que es la que rige la mayoría de las evaluaciones de universidades disponibles en Internet. Hablando de productos, los rankings toman discursivamente la decisión por un enfoque de mercado[17]. La evaluación de producto, según B. Worthen, J. Sanders y J. Fitzpatrick (1997) se denomina también evaluación orientada al consumidor y tiene como objetivo general aportar información útil para la toma de decisiones sobre la adquisición o el uso de un determinado producto. Este tipo de evaluación no se restringe sólo a los productos materiales, sino que incluye también la evaluación de servicios y de instituciones que ofrecen servicios específicos, como por ejemplo las escuelas y universidades o los servicios públicos de empleo. En este sentido, la educación superior es concebida como un mercado en que los clientes comprueban productos y se deciden por un uno a base de información imperfecta. Las evaluaciones aportan información adicional para que el cliente puede tomar una decisión.
Se trata, en términos generales, de una evaluación descriptiva, es decir, en forma de un resumen concluyente en un determinado punto temporal, que se rige por el paradigma del control. Sin embargo, en el caso de los servicios o el desarrollo de productos la evaluación puede enfocarse también desde el paradigma del desarrollo, adoptando un enfoque formativo, de asesoramiento y de apoyo. Con este enfoque los criterios y resultados de la evaluación se convierten en el punto de referencia para el desarrollo futuro de la oferta de bienes y servicios.
Lo que diferencia el ranking de otro tipo de evaluación es que se comparan diferentes productos/ servicios y programas entre si y se establece un orden de calidad entre ellos[18]. La máxima y muy común expresión de esta metodología es adjudicar valores numéricos a los diferentes indicadores de calidad y calcular posteriormente un indicador sintético que permite establecer un orden descendente desde el primero hasta el último. Intrínsecamente se parte de la suposición de que los diferentes productos, servicios u organizaciones están en competición entre si para saber quién es el mejor. La metodología del ranking aporta un enfoque de mercado al proceso de evaluación de las instituciones educativas. Partiendo de este punto, el IREG (International Observatory on Academic Rankings and Excellence) establece los siguientes principios para las clasificaciones jerarquizadas de instituciones de la educación superior[19]:
1. Propósito y objetivos del ranking
- Ser uno de los varios métodos de asesoramiento de las inversiones, de los resultados y de los procesos de la educación superior.
- Ser transparente, definiendo claramente los objetivos y los grupos a que se dirige el ranking.
- Reconocer la diversidad de las instituciones y tener en cuenta sus diferentes misiones y objetivos.
- Facilitar transparencia respecto a la relevancia de las fuentes de información y de la información que genera cada fuente.
- Especificar el contexto lingüístico, cultural, económico e histórico de los sistemas educativos sometidos al proceso de ranking.
2. Diseño y ponderación de los indicadores
- Ser transparente respecto a las metodologías usadas para crear el ranking.
- Seleccionar indicadores de acuerdo con su relevancia y validez.
- Orientar la evaluación preferentemente a los resultados (output) en lugar de a las inversiones (input) siempre que sea posible.
- Resaltar el peso asignado a cada indicador (en el caso de la ponderación) y cambiarlo lo menos posible.
3. Recopilación y procesamiento de datos
- Prestar una atención adecuada a los estándares éticos y las recomendaciones de buenas prácticas expresadas en los principios formulados por el IREG.
- Usar siempre datos auditados y verificados si es posible.
- Incluir datos que son recogidos según los procedimientos adecuados de la recogida científica de datos.
- Aplicar medidas para garantizar la calidad en el mismo proceso del ranking
- Aplicar medidas organizativas, p.ej. creación de consejos de asesores para asegurar la credibilidad del ranking.
4. Presentación de los resultados
- Facilitar al cliente una explicación clara de todos los factores usados para la elaboración del ranking y ofrecerles la elección de como el ranking se visualizará.
- Recopilar la información de tal manera que se eliminen o reduzcan los errores en los datos originales y asegurar que el ranking será organizado y publicado de tal forma que los errores y las faltas podrían ser corregidos.
Por lo tanto, para evaluar a continuación los diferentes rankings de las universidades se debe preguntar siempre por sus objetivos y por el valor añadido que facilitan (o no) para una toma de decisión orientada a mejorar la actuación de la universidad o del sistema, o para tomar una decisión sobre dónde estudiar o a qué institución se contrata para un proyecto de investigación.
Diez rankings internacionales
La presentación de los diferentes rankings parte del supuesto de que no se elaboran por mero capricho, sino por objetivos muy concretos, que se insertan en su diseño. Por este motivo, presentamos, a continuación, las fichas de los rankings más relevantes en el ámbito de la educación superior, incluyendo los siguientes apartados:
a) Objetivo, que corresponde al punto (1) de los principios de Berlín
b) Metodología, que corresponde a los puntos (2) y (3)
c) Presentación, que corresponde al punto (4)
d) Comentario
Para la elaboración de los ficheros, hemos recurrido a la información ofrecida por las mismas instituciones, que han elaborado las clasificaciones ordenadas, en sus páginas Web o en publicaciones en línea. En general, exponemos directamente esta información con ciertos recortes, pero sin señalar expresamente que se trata de citas. En el caso de los rankings internacionales, los autores de este artículo han traducido gran parte de la información expuesta en las páginas Web respectivas. Por eso, en relación a los ficheros no se reclama la autoría de lo expuesto.
Aquí se presentan solo los rankings que son accesibles vía Internet y cuando en los documentos electrónicos de referencia consta claramente la autoría y se explica la metodología usada. La experiencia con dos clasificaciones elaboradas por entidades españolas[20] nos aconseja esta prudencia, dado que circulan en Internet versiones no autorizadas o artículos basados en datos no autorizados.
FICHA 1: Academic Ranking of World Universities
<http://ed.sjtu.edu.cn/ranking.htm>
Objetivo
El Academic Ranking of World Universities[21] (ARWU) ha sido elaborado por el Instituto de Educación Superior de la Universidad Shanghai Jiao Tong con el objetivo de medir la posición de las universidades chinas de investigación en el mundo[22]. Se publicó por primera vez en 2003. Con los años, se ha convertido en una de las clasificaciones de referencia para medir la posición de las universidades analizadas respecto a la comunidad universitaria global, pero también para medir la posición de los sistemas de investigación nacional.
Metodología
El ARWU no evalúa todas las universidades, sino solamente aquellas que han pasado un filtro de selección. La lista de universidades evaluadas incluye cualquier institución que tenga un ganador de un premio Nobel, un ganador de una medalla Fields o un investigador muy citado. Adicionalmente se incluyen también las mayores universidades de cada país que tienen un número significante de artículos indexado en Science Citation Index-Expanded (SCIE) y Social Science Citation Index (SSCI), que forman parte de la Web of Science, propiedad de la empresa Thomson Reuter. En total más de 2.000 instituciones están actualmente analizadas. De estas, 1.200 universidades entran en la clasificación, pero solamente se publica el ranking de las primeras 500 universidades
Las instituciones están listadas en cinco amplios campos de conocimiento incluyendo ciencias naturales y matemáticas (SCI); ingeniería/ tecnología y ciencias de computación (ENG), ciencias de la vida y de agricultura (LIFE), medicina clínica y farmacia (MED) y ciencias sociales (SOC). Artes y humanidades no están clasificadas debido a los problemas técnicos de establecer indicadores internacionalmente comparables con datos fiables. Psicología/psiquiatría no están listados debido a su carácter multidisciplinario.
Las instituciones están ordenadas por el rendimiento académico e investigador en cada uno de los campos de conocimiento. Los indicadores incluyen alumnos y personal usando los mismos criterios utilizados para la selección de universidades. Dos nuevos indicadores ha sido introducidos; uno es el porcentaje de artículos publicados en las revistas situadas entre los mejores 20% de cada campo, y el otro los gastos en investigación de ingeniería.
Para elaborar la clasificación, se usa la metodología de puntuación para cada uno de los indicadores y para la totalidad de los indicadores. Para cada indicador, a la institución con el máximo valor obtenido se le asignan 100 puntos, y los puntos de las otras instituciones se calculan como porcentaje de este valor máximo. La distribución de los datos de cada indicador será analizada si aparece un efecto de distorsión y las técnicas estadísticas estándar se utilizan para ajustar el indicador en caso de que sea necesario. Los puntos de cada indicador se ponderan para llegar a la puntuación general final de cada institución. A la institución mejor valorada se le asignan un total de 100 puntos y para las demás instituciones su puntuación se calcula como porcentaje de este valor total máximo. Los puntos se clasifican luego según orden descendente.
En el ranking del año 2008 se establecen indicadores en cuatro dimensiones (módulos):
1. Módulo Calidad de la Educación: Alumni indica el número total de los alumnos de una institución que han ganado un premio Nobel en física, química, medicina y economía o una medalla Fields en matemática. Se define como alumnos aquellos que han obtenidos un Bachelor, Master o doctorado en la institución. Diferentes ponderaciones son asignadas de acuerdo con el período en que obtuvieron el grado: La ponderación es 100% para los alumnos que han obtenido el grado entre 1991 y 2000; 80% para los alumnos que hayan obtenido su grado entre 1981 y 1990; 60% para los alumnos que hayan obtenido su grado entre 1971 y 1980; 40% para los alumnos que hayan obtenido su grado entre 1961 y 1979 y finalmente 20% para los alumnos que han obtenido su grado entre 1951 y 1960. Si una persona ha obtenido mas de un grado en una institución, está institución es considerada solamente una vez. Los premios Nobel en psicología y medicina son incluidos tanto en el ranking de LIFE como MED. Peso: 10%.
2. Módulo Calidad de la facultad: a) Premio (Award) indica el número total del personal de una institución que ha ganado premios Nobel en física, química, medicina y economía o medallas Fields en matemática. Personal es definido como las personas que trabajaban en la institución cuando ganaron el premio. Diferentes ponderaciones son asignadas de acuerdo con el período de obtención del premio. La ponderación es 100% por haberlo ganado entre 2001 y 2007; 80% por haberlo ganado entre 1991 y 2000, 60% por haberlo ganado entre 1981 y 1990, 40% por haberlo ganado entre 1971 y 1980 y finalmente 20% por haberlo ganado entre 1961 a 1970. Si un ganador está afiliado a más de una institución, a cada una de ellas se asigna un valor relativo al número de las instituciones. Si un premio Nobel ha sido asignado a más de un persona, las ponderaciones serán asignadas a los ganadores según su proporción del premio. Los premios Nobel en psicología y medicina son incluidos tanto en el ranking de LIFE como MED. Peso 20%.
b) HiCi indica el número de los investigadores muy citados en 21 categorías temáticas establecidas, utilizando información facilitado por isihighlycited.com. Estos investigadores muy citados son asignados a 5 campos de conocimiento. Si un investigador está incluido en más de una categoría de conocimiento, su peso en cada una de estas categorías será relativo al número de las categorías en que aparezca. Especialmente se revisa a los investigadores incluidos en el Social Science General Category uno por uno, para que sean reclasificados en tres grupos según su afiliación en colegios o departamentos. Las personas que trabajan para unidades vinculadas a sanidad, como escuelas de médicos o de enfermeras, son agrupados en el ranking MED. Las personas afiliadas a departamentos de psicología o psiquiatría no son incluidas en el ranking. Otros individuos en esta categoría son incluidos en el SOC-ranking. Peso: 20%.
3. Módulo Resultado de Investigación: a) N&S - ciencias naturales & ciencias indica el número de artículos publicados en ciencias naturales y ciencias entre 2003 y 2007. Para distinguir diferentes formas de autorías se pondera según el número de autores y su clasificación como autor principal, segundo autor etc. Solamente se toma en consideración publicaciones de tipo artículos. La fuente de referencia es ISI-knowledge. Peso: 20%.
b) PUB indica el número total de artículos indexados en el Science Citation Index-Expanded y Social Science Citation Index del 2007. Solamente se toman en consideración publicaciones de tipo artículos. Cada articulo publicado por una institución es clasificado en uno de los seis campos de conocimiento de acuerdo con la revista en que está publicado (Classification of Journal Categories), incluyendo los cinco campos de conocimiento mencionados anteriormente y ciencias inter- y multidisciplinarias. Si un artículo es publicado en una revista de varios campos (es decir que es clasificado en mas de una categoría de ISI), se divide entre estos grupos. Peso: 20%.
4. Módulo Rendimiento per Capita: PCP El indicador sintético ponderado de los indicadores anteriormente mencionados dividido por el número equivalente al personal académico a tiempo completo de la universidad en cuestión (por ejemplo: Australia, Bélgica, China, Corea de Sur, EE.UU., Italia, Japón, Nueva Zelanda, los Países Bajos, Reino Unido, Rep. Checa, Suecia, Suiza). En el caso de que no se obtenga el dato del personal académico se utiliza la puntuación ponderada de los 5 indicadores mencionados anteriormente. Peso: 10%.
Presentación
En formato de tabla de instituciones ordenadas por las mejores puntuaciones obtenidas. Los resultados se presentan también por regiones (Norte y Latino-America; Europa; y Asía del Pacifico.
La tabla de las 100 mejores universidades mundiales del AWRU
(2009)
Nota: por razones de espacio se presenta aquí el recorte de las primeras veinte
universidades
En la Web del ARWU, se presentan también datos por áreas de conocimiento: ciencias naturales y matemáticas, ingeniería y tecnología, ciencias de la vida y agricultura, medicina clínica y farmacia, y ciencias sociales. Aquí, mostramos solamente una parte de las clasificaciones en el área de las ciencias sociales.
La tabla de las 100 mejores universidades mundiales en
ciencias sociales del AWRU (2009)
Nota: por razones de espacio se presenta aquí el recorte de las primeras veinte
universidades
Se presentan también estadísticas respecto a la presencia de las regiones en la clasificación ARWU, y también la posición de las universidades según el área de conocimiento.
Estadística del ARWU (2009) de la distribución regional de
las mejores universidades mundiales
Nota: por razones de espacio se presenta aquí el recorte de los primeros 5
países
La tabla del ARWU (2009) de la posición de las mejores
universidades mundiales
según área de conocimiento
Nota: por razones de espacio se presenta aquí el recorte de los primeros 10
países
Comentario
Los propios autores del ranking mencionan algunos problemas del mismo:
a) La calidad de las universidades no se puede medir utilizando simplemente números.
b) Ningún ranking es objetivo
c) Medir universidades en todo el mundo es, en principio, imposible dada la gran diferencia entre las universidades y los sistemas de educación superior o de investigación.
d) Existen problemas metodológicos respecto a los indicadores sobre enseñanza y servicios, la ponderación del rendimiento por cabeza, la tipología de las universidades, el sesgo idiomático de las publicaciones, la selección de los premios y la experiencia de los ganadores de los premios.
e) Existen problemas técnicos respecto a la definición de las instituciones, de la atribución de publicaciones y premios, y la historia de las instituciones.
Por otro lado, una revisión de los indicadores muestra lo siguiente:
- El ARWU-Index está centrado en las ciencias naturales y matemáticas (y economía). Los indicadores de premios están casi exclusivamente centrados en este tipo de ciencias. No se ha buscado indicadores similares para otras ciencias. Los indicadores de premios dicen algo sobre el prestigio internacional de una institución, pero no necesariamente sobre la calidad (actual) de la investigación comparada con otras instituciones. En el caso de premios Nobel se trata muchas veces del reconocimiento posterior de logros científicos conseguido en el pasado. P.ej. los premios Nobel de física del año 2009 han sido concedidos a tres científicos de los EE.UU William Sterling Boyle, Charles Kuen Kao y George Elwood Smith, por sus descubrimientos hechos en los años 1960, y están ya jubilados. Y no necesariamente se premia una innovación relevante: por ejemplo Einstein nunca consiguió un premio Nobel por su teoría de relatividad. El ejemplo de Einstein muestra también lo dudoso de los premios para evaluar la calidad de la educación. Einstein desarrolló su teoría de la relatividad fuera de los circuitos institucionales de las ciencias naturales. Además, la concesión de un premio es en gran parte un proceso político en elque el mérito científico no es necesariamente el factor más importante (véase Marginson & van der Wende 2007)
- También el indicador HiCi parece ciertamente sesgado. Por ejemplo, revisando la base de datos de ISIHighlyCited con respecto a las ciencias sociales se observa que en la lista aparecen casi exclusivamente autores de habla inglesa. En un artículo reciente Docampo [2008] argumenta que el sesgo anglosajón no es tan pronunciado como los críticos indican y pone como ejemplo la posición destacable de los países escandinavos y de los Países Bajos y el avance de España en este índex. Sin embargo, este hecho se puede interpretar: a) como una adaptación paulatina y general de los sistemas de la ciencias al idioma dominante o a la lengua franca, el inglés, y b) que esta adaptación se produce más lentamente en países de idiomas de mayor uso y de sistemas de ciencias históricamente consolidados como Francia y Alemania. En este sentido, se puede predecir, que el ARWU-Index será más equilibrado respecto a los sistemas de ciencias nacionales cuando todos los países se hayan adaptado plenamente a la lengua franca en las ciencias[23]. No obstante, se puede predecir que, de cierta forma, este sesgo se mantendrá en el ámbito de las ciencias sociales y humanas dado su arraigo en el contexto socio-lingüístico.
- También los indicadores de artículos citados demuestran cierta tendencia a que prevalezca cierto tipo de ciencias dado que en las ciencias sociales se valora mucho aún la publicación de libros como medio de diseminación principal. A primera vista, revisar las citas de todos los libros publicados en un área en el curso de un año es un trabajo casi imposible de realizar.
- El índex valora exclusivamente el prestigio científico de una institución y no tiene ningún valor para una evaluación comparativa en el ámbito de la educación.
- El índex valora solamente el prestigio intrínseco del sistema científico pero no su valor para la sociedad. De esta forma se limita a medir la calidad científica tradicional.
- Finalmente está el problema de la puntuación general de las instituciones. Queda abierta la cuestión de si realmente se pueden juntar premios y citas en un único índex. Una de las críticas importantes, no solamente al ARWU-ranking sino también a otros, es que el sistema de ponderación no esta suficientemente explicado y razonado.
Los propios autores mencionan algunos de estos puntos críticos, pero no evalúan la instrumentalización política de este ranking. Con su decisión de centrar su clasificación en el ámbito de la investigación y con la definición de sus indicadores, esta clasificación favorece las universidades que son suficientemente grandes y diversificadas en sus campos de investigación para acumular la masa suficiente para entrar en la lista. El ranking está enfocado (y favorece) a las universidades fuertemente orientadas a la investigación en ciencias naturales y matemáticas en la tradición estadounidense y británica. El resultado muestra que las universidades de habla inglesa (Australia, EE.UU., Irlanda, Nueva Zelandia y Reino Unido) representan el 95% del Top20, 57% del Top100, 56,7 del Top200 y aún el 46,2% del Top500.
Los propios autores reconocen el problema de que la clasificación tiene un sesgo a favor de las universidades de habla inglesa, pero no pueden evitar que su ranking sea utilizado en el discurso público como argumento para resaltar la supuesta ventaja del sistema anglosajón de educación superior y de investigación respecto a los demás sistemas[24]. El uso político queda en evidencia si se utiliza otro esquema de interpretación refiriéndose a las entidades políticas UE-27 y EE.UU. Los EE.UU. tienen más universidades entre las 100 mejores (51 por 32), las 200 mejores (90 por 71) y en menor medida entre las 300 mejores (119 por 117), pero entre las 400 mejores (139 por 159) y las 500 mejores (170 por 195) las universidades de la UE están mejor situadas. El hecho de que la relación haya evolucionada a favor de las universidades de la UE, se puede interpretar como una mejora de la calidad científica de las universidades de la UE, que incluye, desde luego, las universidades británicas e irlandesas, pero también se debe a una afinamiento de la metodología.
La elaboración de este tipo de clasificación es válida bajo criterios científicos asumiendo las limitaciones del campo de evaluación, tanto respecto al tipo de universidades como a la misión de la universidad y a la metodología usada. El problema reside en el hecho de que este ranking promueve un cierto modelo de universidad, que aparentemente se ha convertido en el modelo dominante en el ámbito político.
FICHA 2: World University Ranking
<http://www.timeshighereducation.co.uk/WorldUniversityRankings2009.html>.
<http://www.topuniversities.com/worlduniversityrankings>.
Objetivo
El World University Ranking del Times Higher Education Supplement (THES-Ranking) evalúa alrededor de 600 universidades en el mundo y publica una clasificación de las 400 mejores. Se han establecido seis indicadores que en su conjunto forman el ranking de las universidades mundiales. A parte se elaboran clasificaciones ordenadas en cinco áreas de conocimiento claves: Arte & Humanidades, Ingeniería & IT, Ciencias de la Vida & Biomedicina, Ciencias Naturales, Ciencias Sociales.
El concepto del THES-Ranking es el reconocimiento de las universidades como organizaciones multifacéticas para la comparación global de su éxito en la carrera para convertirse o ser una universidad de la primera clase mundial. Se exige cada vez más a las universidades competir para tener las mejores facultades, formar los mejores estudiantes, obtener los contratos de investigación más lucrativos y obtener más fondos gubernamentales. En este contexto, el término “World Class University” es cada vez más importante para los gobiernos, los empleadores, los inversores, los estudiantes y las propias universidades. Pero sin mediciones es difícil identificar la universidad que cualifica o investiga mejor.
El ranking se establece con base en cuatro criterios: calidad de investigación, calidad de enseñanza, empleo de los graduados e imagen internacional. El THES-Ranking se realiza utilizando seis indicadores: calidad académica, calidad de enseñanza, empleabilidad, prestigio académico y prestigio internacional.
Metodología
En el centro de la metodología hay dos encuestas en línea:
Perspectiva Académica
Se trata de la parte más importante del THES-Ranking teniendo un peso de 40% en su conjunto. Es una encuesta global en línea entre académicos, preguntando por la identificación de aquellas universidades que ellos consideran excelentes en su campo de conocimiento. Los encuestados no pueden incluir su propia universidad en sus respuestas. En la encuesta de 2008 se pidió a los encuestados distinguir en su respuestas entre las universidades de su propio país y de otros. La encuesta es distribuida entre los que ha participado en encuestas previas y los suscriptores de las bases de datos de “World Scientific” y de “International Book Information Services”, lo cual significa más de 600.000 direcciones electrónicas.
La clasificación de 2008 se basa en un total de 6.354 respuestas. Se tienen en cuenta las respuestas de los últimos tres años. En el caso de varias respuestas del mismo académico en el curso de estos tres años, solamente la última respuesta será tomada en cuenta. Las respuestas son ponderadas por área geográfica en cada de las áreas de conocimiento establecidas para asegurar una representación igual de las tres super-regiones establecidas: Américas; Europa & Medio Oriente & África conjuntamente y Asia del Pacifico. Las cinco áreas de conocimiento son combinadas con base en que cada uno tenga el mismo peso en el resultado conjunto.
Perspectiva de empleadores
Este tipo de encuesta se ha introducido en el año 2005 en la evaluación para cubrir la dimensión del empleo de graduados. Se considera más apropiada la encuesta que los datos estadísticos sobre empleo de graduados y sus salarios, dado que éstos están influidos por factores locales. Se trata de una encuesta entre empleadores que contratan graduados pidiéndoles que identifiquen las universidades que consideran que preparan mejor a éstos para su puesto de trabajo. El procedimiento, incluyendo la ponderación, es el mismo tanto para los empleadores como para los académicos.
Los empleadores son contactados a través de la base de datos de QS (Quacquarelli Symonds – empresa que realizó el THES-Ranking 2008); las redes de socios con que QS está cooperando, y se invita a instituciones participantes a facilitar contactos. En 2008 se contaba con 2.339 respuestas de parte de los empleadores. El resultado de esta encuesta significa un 10% en el conjunto de la evaluación.
Las encuestas se complementan con análisis de datos estadísticos en tres apartados: calidad de enseñanza, prestigio académico e internacionalización.
Calidad de enseñanza
Se considera que el único indicador reconocido internacionalmente para medir la calidad de la enseñanza es la tasa de estudiantes por universidad. No se trata de un indicador suficiente para medir la calidad, pero es el único que es medible globalmente y es un indicador del compromiso de las instituciones (o del sistema) con la enseñanza. Para el cálculo de este indicador se usan dos tipos de datos:
a) El equivalente al estudiante a tiempo completo sumando los datos de las cifras de estudiantes separados por estudiantes en fase de graduados y en fase de postgraduados. Cuando estos datos no están disponibles por separado, se usa la cifra total de estudiantes.
b) El equivalente al miembro de la universidad a tiempo completo usando el número total de los miembros de universidad sin distinguir entre personal educativo y personal investigador por motivos de disponibilidad de datos.
Para obtener estos datos, se usan los datos facilitados por la propia institución y se los contrasta con datos del gobierno, de agencias de enseñanza superior, de fuentes del Internet y de terceros.
Prestigio científico
Para medir el prestigio científico se combinan datos sobre la productividad y la calidad científica, tomando como referencia la institución. Como indicador se toma la cita, que es usada frecuentemente para medir la calidad científica. La fuente para obtener estos datos es Scopus, considerada una de las bases de datos más amplia de resúmenes y citas del mundo. El período de tiempo considerado es de los últimos cinco años. El número total de citas es contrastado por el número de los miembros de la facultad en términos del equivalente a tiempo completo. Este indicador tiene un peso del 20% en el conjunto total de la evaluación.
Internacionalización
En el mundo globalizado, las universidades de más éxito deben atraer los estudiantes y personal académico. La simple evaluación de la proporción de los estudiantes internacionales y de los miembros internacionales de facultad sirve como indicadores de la atracción internacional. Cada uno de estos indicadores significa 5% del conjunto de la evaluación.
Los indicadores son combinados usando métodos estadísticos estándares para conseguir los resultados generales del ranking y ponderando cada uno de los indicadores según su peso en el resultado general, como se ha mencionado en la descripción de los indicadores: perspectiva Académica: 40%, perspectiva empleador 10%, tasa estudiantes-facultad 20%, prestigio científico de la facultad (citas) 20% e internacionalización 5%.
Una vez recogidos los datos y aplicada la ponderación, se procede un cálculo de la puntuación estándar de cada columna de datos para que sean compatibles entre ellos y permitan combinar de forma fiable y aplicar una ponderación justa en el calculo de la puntuación general.
Presentación
Los resultados del año actual se presentan en formato de tablas en tres apartados: a) los resultados generales ordenando las mejores 200 universidades por orden descendente según el resultado global, presentando en la misma tabla los resultados por cada indicador.
La tabla de las 200 mejores universidades del THES-Ranking
(2009)
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
b) Los resultados por área de conocimiento. El ejemplo siguiente de las ciencias sociales muestra que esta tabla solamente recoge la puntuación general en el campo y el índex de citas.
La tabla de las 50 mejores universidades en ciencias
sociales del THES-Ranking (2009)
Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras
universidades
c) Los resultados por indicador.
Los informes de los años anteriores se pueden bajar en formato pdf. Éstos presentan información más detallada. En la Web de Times Higher Education, el acceso a esta información sobre el ranking más actual no se ofrece, y en el caso de la Web de Top Universities está restringido. A continuación exponemos las tablas de los dos indicadores más importantes de este ranking: las mejores universidades según los académicos y según empleadores del ranking 2007.
Tabla de las 10 mejores universidades
según académicos y según empleadores (2007 y 2006)
Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras
universidades
Comentario
Comparado con el ARWU, el THES-Ranking parece más equilibrado respecto a la recogida de datos, basándose en encuestas en línea entre académicos y empleados y datos estadísticos sobre el número de estudiantes, miembros de facultad, citas etc. Igualmente, establece una variedad de ámbitos de evaluación tales como investigación, enseñanza, empleabilidad y prestigio. Se trata de una evaluación multidimensional del producto universidad y se presentan los resultados desagregados y agregados.
El núcleo de la clasificación es la encuesta entre académicos sobre la excelencia académica de otras universidades. Las encuestas sobre el prestigio académico tienen el riesgo de favorecer a las universidades más conocidas. La encuesta no cumple estándares de transparencia ni respecto a la publicación del cuestionario ni respecto a la procedencia geográfica de las respuestas, lo que es importante para valorar adecuadamente los resultados de la misma.
El éxito de la encuesta, en cuanto a respuestas, parece también limitado. EL THES-Ranking presume de una larga lista de direcciones electrónicas (más de 600.000 direcciones), pero las respuestas no significan ni un 1% de esta cantidad de direcciones. El THES-Ranking tampoco publica de qué áreas geográficas proceden las respuestas.
El riesgo de una encuesta entre los académicos sobre la excelencia académica de otras universidades es la suposición de que los académicos conocen realmente la calidad de investigación en su disciplina. Dado a la creciente especialización de la ciencia en sub-disciplinas se puede tener dudas sobre este supuesto.
El índex de citas tampoco parece que cubra adecuadamente todo el espectro de las ciencias globales. Como ya se ha dicho en la critica del ARWU, la base de datos de artículos, en este caso de Scopus, tiene un cierto sesgo idiomático a favor del actual idioma franco en las ciencias: el inglés.
Como en el ARWU, el índex de citas hace referencia solamente a artículos y no incluye libros, lo que refuerza un determinado estilo de publicación científica es decir, una tendencia a publicar artículos en lugar de libros. Este indicador valora exclusivamente el prestigio científico de una institución y solamente tienen un valor limitado para una evaluación comparativa en el ámbito de la educación.
También es discutible el indicador de internacionalización. Un alto porcentaje de miembros internacionales de una facultad no es necesariamente un indicador positivo sino un indicador de un sistema universitario poco desarrollado que no puede proveer el personal académico necesario para las exigencias del propio sistema económico-científico.
Medir la calidad de la enseñanza a través del indicador de la tasa entre estudiantes y personal académico no parece suficiente. Es decir, la calidad no es medible usando solamente un único indicador cuantitativo. Los propios autores del ranking reconocen esta limitación, pero defienden el indicador por ser el único internacionalmente reconocido.
Este ranking ha recibido críticas por la creación de ‘anomalías’ en los puestos que ocupan algunas universidades en las diferentes clasificaciones anuales. Marginson (2006) menciona el ejemplo de la University of Malaya, que en 2004 ha obtenido el puesto 89 en el ranking para bajar en el año siguiente al puesto 169. Pero también menciona otros ejemplos como la universidad Fudan (China) que en los ranking 2004, 2005 y 2006 ocupó los puestos 195, 72 y 116 respectivamente, o la universidad de Osaka (Japon – 69 – 105 – 70), la universidad de Munich (Alemania – 99 –55 –98) o la Ecole Polytechnique (Francia 27 – 10 – 37). En otras palabras, los resultados parecen bastante volátiles, lo que plantea algunas dudas sobre la metodología.
FICHA 3: New Global University Ranking
<www.globaluniversitiesranking.org>.
Objetivo
El New Global University Ranking (RatER-Ranking) elaborado por el instituto ruso Rating of Educational Resources (RatER) tiene el mismo objetivo que el ARWU-Ranking en su origen: medir la posición de las universidades nacionales (en este caso Rusia, en el caso de ARWU China) entre las universidades lideres mundiales y su progreso en la competición global entre universidades. En el trasfondo, está el objetivo de elaborar una clasificación alternativa al AWRU y THES-Ranking, donde las universidades de habla inglesa parecen tener ventajas competitivas. Se usa la metodología de “rating” porque permite reducir las actividades complejas de las universidades a una serie de indicadores numéricos ordinarios y comparables. Esta clasificación[25] no toma en cuenta sólo las actividades investigadoras de las universidades sino también las educadoras, considerando que la tarea principal de las universidades rusas es actualmente la provisión de una educación de calidad que cumpla con los estándares educativos establecidos por el Estado y responda a los requerimientos del mercado laboral. Como clientes potenciales del ranking se definen los siguientes: Nuevos estudiantes, las administraciones de universidad, los departamentos de recursos humanos de grandes empresas, grandes filántropos y representantes de las administraciones públicas nacionales e internacionales.
Metodología
El RatER-Ranking toma como referencia cuatro rankings globales: ARWU, el THES-Ranking, Webometrics y el Ranking de la National Taiwan University. Se tomó la decisión de que las universidades evaluadas en estas clasificaciones deben ser también sujeto de este nuevo ranking. Sin embargo, esta evaluación clasificadora no se limita a estas universidades, a quienes se dirigieron sus organizadores enviándoles el cuestionario por escrito, sino también a otras universidades, que quisieron participar en el estudio, abriéndoles la oportunidad de participar a través de un cuestionario electrónico. En otras palabras, se obtienen los datos-base de la evaluación clasificadora a través de un encuesta por escrito o en línea, fijando un tiempo limite de entrega de los cuestionarios.
Se definen siete dimensiones a evaluar. En cada una de ellas se elaboran una serie de indicadores:
1. Módulo rendimiento académico de la universidad: a) número de programas de estudios en el año académico de referencia en los tres niveles de estudios; b) número del personal académico a tiempo completo en el año académico de referencia; c) número de estudiantes matriculados en la universidad en el año académico de referencia por nivel de estudios; d) ganadores de competiciones académicas internacionales de estudiantes desde 2001.
2. Módulo rendimiento investigador de la universidad: a) número de descubrimientos certificados e inventos patentados obtenidos por la universidad o su personal académico; b) número de profesores (doctores) honoríficos, que son premios Nobel, ganadores de una medalla Field o de otro premio científico mundial desde 2001; c) número de premios mundiales recibidos por parte del personal académico de la universidad.
3. Módulo del prestigio científico de la universidad: a) número total de publicaciones (artículos, libros de texto y manuales, monográficos etc.) en el año académico de referencia; b) porcentaje del personal académico que ha recibido su titulación en el último año académico; c) número total de profesores de la universidad que han sido miembros en academias de ciencia nacionales o internacionales en el último año académico; d) promedio de citas y referencias de la publicación del personal académico por parte de autores extranjeros en el último año académico.
4. Módulo disponibilidad de recursos: a) presupuesto total de la universidad incluyendo todo tipo de ingresos del último año fiscal; b) coste total de la infraestructura educativa e investigadora del último año fiscal; c) rendimiento del centro de computación de la universidad.
5. Módulo actividad socialmente relevante de graduados de la universidad: a) número total de graduados de la universidad que han conseguido el reconocimiento público.
6. Módulo internacionalización de la universidad: a) número de comunidades académicas internacionales en que la universidad participa; b) número total de universidades extranjeras con las que se tienen acuerdos bilaterales en el último año académico; c) número total del personal académico que son profesores (doctores) honoríficos de universidades extranjeras; número total de estudiantes extranjeros que han estudiado en la universidad el último año académico; d) número total de estudiantes matriculados en la universidad que han ido a estudiar en una universidad extranjera en el último año académico (educación inclusiva) y número total del personal académico de la universidad que ha ido a dar clases o investigar en una universidad extranjera en el último año académico
7. Módulo clasificación de la universidad según opinión de expertos: a) a través de una encuesta los expertos determinan el puesto de las universidades extranjeras en un ranking.
Los datos obtenidos en estos apartados son evaluados por un grupo de expertos
que determinan cada uno por sí mismo, el peso de cada indicador dentro del
módulo y el peso de cada bloque en el conjunto. Usando el valor final de cada
indicador dentro de cada bloque, y de los bloques en el conjunto se determinó
el promedio de todas las evaluaciones individuales. En el caso de que las
ponderaciones de cada experto, se separaran en más de un 15%, se convocó una
reunión de expertos para consensuar la ponderación. Con base en las
ponderaciones, se sumó el valor de los indicadores en cada bloque, ordenándolos
de forma descendente, luego se le otorgó a la universidad del máximo valor 100
puntos y recalculando los puntos de las demás universidades en relación a este
valor máximo. Con base al valor de cada bloque, se suman los valores obtenidos
en cada uno ordenando las universidades de nuevo por orden descendente,
poniendo luego a la universidad del máximo valor 100 puntos y recalculando los
puntos de las demás universidades en relación a este valor máximo. Este
procedimiento permite establecer clasificaciones por bloque y para el conjunto
de los módulos.
Presentación
Los resultados de esta clasificación se presentan en forma de tabla, en la que las universidades están ordenadas por el valor obtenido en la evaluación global. En la misma tabla, se presentan también los resultados de la evaluación ponderada de cada bloque.
Tabla de las 100 mejores universidades globales del New
Global University Ranking
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Además, se presentan los resultados agregados por países determinando la cantidad de universidades de cada país en las listas de los mejores 100, 200, 300, 400 y 500.
Tabla del New Global University Ranking de la
clasificación de los países por número de universidades entre los 500 mejores
universidades
Nota: por razones de espacio se presenta aquí el recorte de los 10 primeros
países
También se presenta el ranking de las universidades del ámbito territorial de Rusia y de las republicas de la Comunidad de Estados Independientes (CEI – la organización supranacional que han constituido 15 estados de la antigua URSS después de su desaparición).
Tabla del New Global University Ranking de la
clasificación global de las universidades de Rusia, del CEI y de los países
bálticos
Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras
universidades
Comentario
Se trata de un ranking multifactorial que pretende constituirse en alternativa a las clasificaciones de ARWU y THES ampliando el abanico de indicadores Los resultados de esta evaluación son muy diferentes a estas dos clasificaciones ordenadas, mejorando la posición de las universidades rusas y empeorando la posición de las universidades estadounidenses.
En los diferentes módulos se definen algunos indicadores de forma poco precisa, como p.ej. en el módulo 1 el de ganadores de competiciones académicas internacionales de estudiantes desde 2001; o en el módulo 2 el de número de premios mundiales recibidos por parte del personal académico de la universidad. También en el módulo 3 del prestigio científico, se definen los indicadores sin mencionar cuales son las fuentes de información. Caben dudas sobre si todas las administraciones universitarias dispongan realmente de datos sobre todas las publicaciones de su personal académico. Tampoco se especifica cómo se determina cual es la fuente para establecer el promedio de citas y referencias de la publicación del personal académico por parte de autores extranjeros en el último año académico.
Como en el THES-Ranking, hay algunas dudas sobre la transparencia y el valor de la encuesta entre expertos que votan por el prestigio de las universidades extranjeras. No se define claramente quién es considerado experto, ni se expone información sobre la población encuestada y el retorno de las respuestas.
Se explica cómo se establece el esquema de la ponderación, pero no el peso de cada indicador. Tampoco se representa el valor que ha obtenido una universidad en cada uno de los módulos sino su posición en el ranking singular.
FICHA 4: Institutional Ranking World Report
Observación
El SCImago Institutional Ranking World Report (SIR) es accesible a través de la página Web de la entidad autora SCImago. El enlace se ha establecido al elaborar este artículo. En esta Web pueden bajarse las sucesivas versiones de la clasificación institucional bibliométrica que se actualiza cuando se incorporan nuevos datos. Las versiones están numeradas por año y número de edición anual. El documento usado aquí tiene el indicador 2009/002.
A través de una noticia en una revista electrónica, se puede acceder, además, a otros dos documentos sobre este ranking. Los datos presentados en estas dos publicaciones no coinciden con los datos de la versión oficial, debido a que no se basan en las publicaciones autorizadas, sino en información no-autorizada.
Objetivo
EL SIR es elaborado por SCImago [www.scimago.es], un grupo de investigación compuesto por investigadores de universidades españolas y portuguesas y del Instituto de Políticas y Bienes Públicos (IPP) del CSIC español. El SIR es una clasificación del rendimiento investigador de más de 2000 instituciones de investigación con base en el análisis de publicaciones y citas en revistas científicas incluidas en la base de datos Scopus de Elsevier. En la lista se incluyen instituciones de 84 países de los cinco continentes. Las instituciones se clasifican en cinco grupos: gubernamental, educación superior, salud, corporativo y otros.
Metodología
Se trata de una metodología bibliométrica que utiliza exclusivamente la base de datos Scopus. Previamente se definen 5 indicadores del rendimiento investigador:
a) Output medido por el número de documentos publicados en las revistas científicas incluidas en la base de datos. Este indicador está influido, entre otros factores, por el tamaño de la institución y el perfil investigador
b) Citas por documento muestra el impacto científico de las publicaciones de una institución. El valor de este indicador expresa el promedio de citas de los documentos publicados por una institución en el período de referencia. Este valor está influido por el perfil investigador de la institución.
c) Colaboración internacional muestra el grado de colaboración con otras instituciones extranjeras para la publicación de documentos. Se calcula el valor del indicador por las publicaciones de la institución en que investigadores de instituciones extranjeras comparten la autoria.
d) SJR-index normalizado muestra el valor promedio de una revista en la que la institución ha publicado un documento. El SRJ índex es el producto de otro proyecto de evaluación de revistas realizados por SCImago utilizando la base de datos de Scopus. Un valor por encima de 1 indica que la institución ha publicado la mayor parte de sus documentos en revistas cuya relevancia en el campo científico está encima del promedio. Un valor por debajo de 1 indica que la institución ha publicado la mayor parte de sus documentos en revistas cuya relevancia en el campo científico está por debajo del promedio.
e) Puntuación de citas normalizado por campo muestra la tasa entre el promedio del impacto científico de una institución y el promedio del impacto mundial de las publicaciones en el mismo período de tiempo y en la misma área de conocimiento. Se usa la metodología propuesta por el Karolinska Institutet (Suecia) denominada “item oriented field normalized citation score average”, que se calcula normalizando la tasa de cada publicación individual frente a la tasa promedio de citas de los artículos en la misma área de conocimiento. Los valores están presentados en forma de porcentaje, teniendo como referencia el valor 1 que expresa que las publicaciones del instituto están citadas por igual que el promedio de los artículos en la misma área de conocimiento. Un valor de 0,8 significa que su tasa está 20% por debajo del promedio mundial y 1.3 significa que su tasa está 30% por encima del promedio mundial en la misma área del conocimiento.
Presentación
El ranking incluye más de 2000 instituciones ordenadas de forma descendente según el valor obtenido en el ámbito del “output”.
Tabla de la clasificación de las universidades y centros de
investigación
del Institutional Ranking World Report
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Comentario
Dado que no somos expertos en ciencias de documentación, aquí no entramos en la valoración de la selección de los indicadores. Sin embargo, se puede insistir en la crítica ya formulada en los comentarios a otros rankings: que una clasificación por instituciones aporta poca información añadida para mejorar las actuaciones de las mismas o de las facultades o departamentos. Para que un ranking bibliométrico tuviera incidencia en la actuación de las instituciones debería enfocarse en las facultades, departamentos o los centros especializados de las universidades o de las instituciones de investigación.
Ésta, como otras clasificaciones bibliométricas, enfoca el sistema científico tradicional, edonde el prestigio científico se mide a través de las publicaciones. La interconexión del sistema científico con otros sistemas sociales como la economía, la política y la sociedad queda intencionadamente excluido de este tipo de rankings.
Dentro del contexto del sistema de publicaciones científicas parece razonable la decisión de los promotores de este ranking de incluir otras instituciones en el mismo además de las instituciones de educación superior. De este modo se cubren las diferentes partes de los sistemas de investigación científica y su aportación a la producción científica en formato de artículos.
FICHA 5: Performance Ranking of Scientific Papers of World Universities
<http://ranking.heeact.edu.tw/en-us/2009%20by%20Fields/Domain/SOC/TOP/100>
Objetivo
El Performance Ranking of Scientific Papers of World Universities (Performance Ranking) del Higher Education Evaluation & Accreditation Council of Taiwan se centra en la evaluación de los documentos científicos de 500 universidades mundiales, midiendo el rendimiento investigador de estas universidades. Utilizando los documentos (artículos etc.) científicos, se pretende crear indicadores más objetivos comparados con los que estén basados en la obtención de premios o en encuestas sobre el prestigio o la reputación científica de las universidades, que en principio favorecen a las que tienen más tradición e historia. Se trata, por lo tanto, de una clasificación bibliométrica del rendimiento investigador de las universidades.
Metodología
Para evaluar el rendimiento científico en publicaciones se usan datos cuantitativos procedentes de Thomson Reuters como el Essential Science Indicators (ESI), la WEB of Science, que incluye el Index de Citaciones de Ciencias (Science Citation Index SCI), el Index de Citaciones de Ciencias Sociales (Social Science Citation Index - SSCI), y el Journal Citation Report. Las herramientas más importantes son el SCI y el SSCI, suponiendo que la forma dominante que adquieren los resultados científicos son publicaciones en revistas académicas. Este ranking excluye del procedimiento el indicador de citas en Artes y Humanidades (Arts & Humanities Citation Index A&HCI) porque en estas áreas los investigadores publican gran parte de su trabajo en su propio idioma mientras que el A&HCI incluye sobre todo publicaciones en inglés.
Se evalúa el rendimiento investigador de 700 universidades previamente seleccionadas. Para esta selección. se usa la información dada por el ESI, que contiene 3.000 institutos de investigación. La exclusión de instituciones no-universitarias y la comparación con listas de universidades de otros proyectos de ranking han reducido el número de universidades incluidas en el proceso de evaluación. Pero en el ranking publicado se incluyen solamente los primeros 500.
En la clasificación del año 2008, se calcularon ocho indicadores en tres módulos:
1. Módulo productividad investigadora: a) número de artículos publicados en los últimos 11 años (1997-2007), con un peso de 10%; b) número de artículos en el último año de referencia (2007), con un peso de 10%.
2. Módulo impacto investigador: a) número de citas en los últimos 11 años (1997-2007), con un peso de 10%; b) número de citas en los últimos 2 años (2006-2007), con un peso de 10%; c) promedio de citas en los últimos 11 años (1997-2007), con un peso de 10%.
3. Módulo excelencia investigadora: H-index de los últimos dos años de referencia (2006-2007), con un peso de 20%; b) número de publicaciones altamente citadas, con un peso de 15%; c) número de publicaciones en revistas de elevado impacto científico en el último año de referencia (2007), con un peso de 15%.
Se ha calculado el valor de cada indicador para cada universidad incluida en la lista. Para cada indicador, se asigna a la institución con el máximo valor 100 puntos, calculando luego los puntos de las demás instituciones en relación porcentual a este valor máximo. Finalmente se calcula el valor del indicador sintético ponderando cada uno de los indicadores individuales, sumando los resultados de la ponderación y dividiendo el resultado final por 100. Luego se ordenan las universidades por orden descendente según el resultado obtenido por el indicador sintético. Para mostrar la posible influencia del tamaño de las universidades, el ranking calcula otro indicador sintético (Ref. World Rank) incluyendo en su cálculo el tamaño de las universidades (el número de empleados de la universidad en equivalente a tiempo completo). Estos datos se obtienen o del QS Ltd. (Quacquarelli Symonds – empresa que realiza el THES-Ranking), o de las páginas Web de las universidades, o de los registros oficiales de las administraciones publicas responsables de la educación superior en los diferentes países.
Presentación
Los resultados se presentan en una pagina Web que incluye, además, información sobre su origen y metodología, los resultados de los ranking anteriores.
Los resultados se presentan en forma de tabla dando las puntuación de las universidades para cada uno de los indicadores. Hay la opción de ver el ranking por universidad, por continente o por país.
Tabla de las 100 mejores universidades del Performance
Ranking
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Se ofrece también la opción de ver los resultados por áreas de conocimiento, de nuevo por universidades, por continente y por país. Para este objetivo se han establecido seis áreas de conocimiento, incluyendo las siguientes disciplinas:
a) Agricultura y ciencias de medio ambiente [AGE]: ciencia de agricultura, medio ambiente/ecología y ciencias de animales y plantas
b) Medicina clínica [MED]: medicina clínica, psiquiatría
c) Ingeniería, computación y tecnología [ENG]: ciencia de computación, ingeniería, ciencias de materiales
d) Ciencias de la vida [LIFE]: biología & bioquímica, inmunología, microbiología, biología molecular & genética, ciencias neuronales & del comportamiento, farmacología & toxicología.
e) Ciencias naturales [SCI]: química, ciencias de la tierra, matemáticas, físicas, ciencias espaciales, psicología.
f) Ciencias sociales: economía y comercio, ciencias sociales en general.
Las 100 mejores universidades en ciencias sociales según el
Performance Ranking
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Comentario
Por el mismo motivo que en los comentarios al ranking anterior, nos abstenemos aquí de entrar en la valoración de la selección de los indicadores. Y, como ya hemos comentado en la ficha anterior, se puede insistir en la crítica de que una clasificación de universidades aporta poca información añadida para mejorar las actuaciones de las mismas, menos aún de las facultades. Para que un ranking bibliométrico tuviera incidencia en la actuación de las instituciones debería enfocar las facultades. Para resolver este problema, esta clasificación introduce la vertiente del área de conocimiento, que permite una evaluación más detallada de las actuaciones de las universidades.
Éste, como otros rankings bibliométricos, pone el foco en el sistema científico tradicional, donde el prestigio científico se mide a través de las publicaciones. La interconexión del sistema científico con otros sistemas sociales como la economía, la política y la sociedad queda intencionadamente excluido de este tipo de rankings.
Este ranking se limita al ámbito de las universidades, excluyendo centros de investigación que en algunos sistemas nacionales de ciencias tienen un papel importante, como es el caso de España, Francia o muchos países post-comunistas.
FICHA 6: Leiden-Ranking
<http://www.cwts.nl/ranking/LeidenRankingWebsite.html>
Objetivo
El University’s Centre for Science and Technology Studies de Leiden (CWTS) ha elaborado un ranking basado exclusivamente en indicadores bibliométricos. Ya en 2007, el CWTS había publicado uno referente a las 100 universidades europeas con el mayor numero de publicaciones[26]. Esta clasificación jerarquizada quiere comparar instituciones de investigación a través de mediaciones del impacto bibliométrico que considera también las diferencias entre áreas de conocimiento.
Metodología
En el Leiden-Ranking entran solamente las instituciones científicas que han producido, en el período 1990-2004, más de 700 publicaciones por año catalogadas en el ‘Web of science’. Eso significa que el objeto de análisis han sido alrededor de 1.000 universidades que tienen el mayor numero de publicaciones.
Esta clasificación ordenada se basa en los siguientes cuatro indicadores:
- Mayor número de publicaciones de la universidad en revistas internacionales en un período de tiempo estipulado (P)
- Promedio de número de citas por publicación (CPP) en el período de tiempo estipulado. Se basa en (C) que es el numero de citas que se ha hecho de una publicación (P) en el mismo período de tiempo sin tener en cuenta las citas de publicaciones propias. Se trata de un indicador que no tiene en cuenta las características de los campos del conocimiento y por eso perjudica a las universidades especializadas, como las universidades técnicas dado que en las ingenierías y en las ciencias aplicadas el número de citas por publicación suele ser mucho más bajo que, por ejemplo, en medicina.
- Número total de publicaciones multiplicado por el impacto relativo en el campo correspondiente (P*CPP/FCSm), que también se denomina ‘brute force’.
- Número de citas por publicación dividido por el impacto promedio en el campo correspondiente (CPP/FCSm). Este indicador se llama también indicador Crown y es utilizado para la estandarización, evitando así que una universidad no generalista, como las escuelas de ingeniería y las universidades técnicas, esté penalizada por el cálculo de cita por publicación.
EL FCSm es el impacto promedio global en un campo determinado. EL CPP/FCSm se utiliza para comparar el impacto internacional actual de una universidad, instituto, departamento, grupo o investigador con el promedio global.
Para Europa el período estipulado de análisis es el de 2000 a 2007, mientras a escala mundial se toma como referencia el período de 2003 a 2007.
Presentación
Los resultados se presentan en una página Web donde se puede acceder a la información por cada indicador definido, es decir, se presenta una clasificación ordenada para cada indicador ofreciendo al mismo momento también los datos de los otros indicadores excepto el ‘brute force’. Solamente en el ranking del ‘brute force’ se presentan todos los indicadores. Se presentan listas de las mejores 100 y 250 universidades, tanto a nivel europeo como a escala mundial.
Tabla de la clasificación por P – número de publicaciones –
las 250 mejores universidades europeas del Leiden-ranking
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Tabla de la clasificación por (CPP/FCSm) Crown
indicador - las 250 mejores universidades europeas del Leiden-ranking
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Tabla de la clasificación por P*(CPP/FCSm) brut force - las
250 mejores universidades europeas del Leiden-ranking
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Tabla de la clasificación por CPP indicador simple de cita
por publicación – las 250 mejores universidades europeas del Leiden-ranking
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Tabla de la clasificación por P*(CPP/FCSm) ‘brute
force’– las 250 mejores universidades europeas del Leiden-ranking
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Comentario
La calidad investigadora de las universidades iberoamericanas se evalúa exclusivamente a través de indicadores bibliométricos, tomando como referencia el Thomson Web of Science. Como hemos señalado antes, nosotros no somos expertos en bibliometría, por eso no entramos aquí en la valoración de los indicadores. Solamente hay que mencionar que éstos no recogen el factor del tamaño de la institución académica de ahí que tienda a favorecer a las organizaciones grandes.
Utilizando como fuente de información el Thomson Web of Science no se mide, en principio, la calidad investigadora de las instituciones sino su integración en un sistema de publicaciones científicas internacionales en forma de artículos.
Este ranking se limita al ámbito de las universidades excluyendo centros de investigación que en algunos sistemas nacionales de ciencias juegan un papel importante, como es el caso de España, Francia o muchos países de Europa central y del Este.
FICHA 7: Ranking iberoamericano de universidades por calidad investigadora
<http://www.scimago.es/projects.php>
<http://investigacion.universia.net/isi/isi.html>
Objetivo
El Ranking iberoamericano de universidades por calidad investigadora (RI3) es parte del proyecto I+D “Atlas de la Ciencia” elaborado por el grupo SCImago. Los indicadores científicos se presentan divididos en dos regiones geográficas: países iberoamericanos y países latinoamericanos[27]. Se trata de un proyecto en fase de desarrollo que, actualmente, tiene disponible los siguientes países más productivos de ambas áreas regionales: Argentina, Brasil, Chile, Colombia, Cuba, España, México, Perú, Portugal y Venezuela.
Es una clasificación bibliométrica basada exclusivamente en el análisis de la producción científica en forma de publicaciones, utilizando la base de datos del Thomson Scientific-ISI. No se tienen en cuenta otras tareas de las universidades para evaluar la calidad de la institución.
Metodología
En la evaluación clasificatoria entran solamente las instituciones científicas que han producido en el período 1990-2004 más de 100 documentos publicados en revistas incluidas en la base de datos utilizada. El ranking se basa en los siguientes indicadores bibliométricos.
- Producción Total: Este indicador muestra la evolución de la producción total del agregado regional / área temática / institución seleccionada, por años del período 1990-2005. El sistema permite ordenar el conjunto de instituciones a partir del total de documentos acumulados en el período, o para cada uno de los años del mismo. El orden (ascendente o descendente) del ranking se cambia con un simple clic de ratón en el año (o en el período) que se desea revisar. Con este indicador, se consigue destacar el conjunto de instituciones de la región que producen más cantidad de documentos científicos recogidos en revistas indexadas en la base de datos Thomson-ISI, además de la nacionalidad de las mismas.
- Producción Citable o Producción Primaria. Al igual que el indicador anterior, se muestra la evolución de la producción institucional del agregado regional/área temática seleccionada, pero solo de aquéllos documentos que los productores de Thomson-ISI consideran susceptibles de recibir citas: los artículos científicos. La Producción Citable, además de la evolución de la organización a lo largo de los años que conforman el período, muestra la capacidad que tiene para hacerse visible internacionalmente a través de la publicación de papers. Con este indicador, se consigue destacar el conjunto de instituciones de la región que producen más cantidad de documentos científicos citables, recogidos en revistas indexadas en las bases de datos Thomson-ISI además de la nacionalidad de las mismas.
- Producción Ponderada o Potencial Investigador. Se muestra la evolución de la Producción Ponderada del agregado regional / área temática / institucional seleccionada, pero solo de los artículos científicos. Para el cálculo del Potencial Investigador es necesario transformar el Factor de Impacto (FI) calculado por Thomson-ISI. Para ello, se ha procedido a la normalización del FI partiendo de la distribución de impactos que alcanzan las revistas en un año por Categorías Temáticas (CT, Subject Categories) de Thomson-ISI. Este proceso de normalización de los impactos permite calcular un valor comparable entre las distintas Categorías Temáticas, siendo el valor 1 la media del impacto de la Categoría Temática. Cada documento citable “ha heredado” el valor del Impacto Medio Ponderado (FIMP) de la revista en la que está publicado en ese año. Este proceso permite, entre otras cosas, valorar el Potencial Investigador de una institución, calculado como la suma del FIMP de cada uno de los documentos que constituyen la producción primaria o citable de la organización en ese año. De manera que, además de la evolución de la producción, es posible percibir la visibilidad observada que alcanza la institución en cada año del período. Si la suma de los FIMP de los documentos de una institución es inferior a la suma de los documentos citables, significa que la visibilidad de sus trabajos es menor a la media de la Categoría Temática mundial.
- Factor de Impacto Medio Ponderado. Al igual que el Potencial Investigador, es necesario transformar el Factor de Impacto (FI) calculado por Thomson-ISI. Para ello, se ha procedido a la normalización del FI partiendo de la distribución de impactos que alcanzan las revistas en un año por Categorías Temáticas (CT, Subject Categories de Thomson-ISI). Este proceso de normalización de los impactos permite calcular un valor comparable entre las distintas Categorías Temáticas, siendo el valor 1 la media del impacto de la Categoría Temática. Cada documento citable “ha heredado” el valor del Impacto Medio Ponderado (FIMP) de la revista en la que está publicado en ese año. Para el cálculo del FIMP de la institución, se ha tenido en cuenta el promedio del FIMP de los documentos citables de dicha organización, ya sea en cada uno de los años del período, o bien para el período en su conjunto.
- Colaboración Internacional. Este indicador bibliométrico hace referencia al porcentaje sobre la producción total del año (o del período) de documentos firmados con instituciones de otros países. Es decir, teniendo en cuenta las direcciones de afiliación que aparecen en cada uno de los documentos, como lugar de trabajo de los investigadores que lo firman, se han considerado aquéllos firmados por más de una institución pero que cumplan los siguientes requisitos: por lo menos una ha de ser de la institución (país) a estudiar y por lo menos otra de un país diferente.
Presentación
Los resultados se presentan en una página Web interactiva, en la que se puede obtener la información respecto a la producción científica de las instituciones de los países analizados por región (Latinoamerica – Iberoamerica) o país, por área científica o en general y por indicadores. Los resultados están desglosados por año cubriendo el período de 1990 a 2005.
Tabla de la clasificación por Producción Total del RI3
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Tabla de la clasificación por de Producción citable del RI3
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras universidades
Tabla de la clasificación por de Producción ponderada del
RI3
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Tabla de la clasificación por Factor de Impacto Medio
Ponderado del RI3
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Tabla de la clasificación por Colaboración Internacional del
RI3
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
Obteniendo la lista de las instituciones, se podría acceder a través de un clic sobre el nombre de la institución en cuestión a los gráficos de la evolución de la producción científica según los indicadores.
Comentario
La calidad investigadora de las universidades iberoamericanas se evalúa exclusivamente a través de indicadores bibliométricos tomando como referencia el Thomson ISI. No se entra aquí en la valoración de los indicadores. Solamente hay que mencionar que éstos no recogen el factor del tamaño de la institución académica por lo que tiende a favorecer a las grandes organizaciones.
Utilizando como fuente de información el Thomson ISI no se mide, en principio, la calidad investigadora de las instituciones sino su integración en un sistema de publicaciones científicas internacionales. Para medir la calidad investigadora de las universidades iberoamericanas se tendría que construir primero una base de datos de idiomas iberoamericanos para las diferentes disciplinas científicas.
Tabla de la
clasificación de las mejores instituciones en las ciencias sociales según
factor e impacto medio ponderado del RI3
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades
La presentación de los resultados, por lo menos en el ámbito de las ciencias sociales, produce resultados desconcertantes para una persona no especialista en ciencias de documentación y bibliometría. Por ejemplo, que en la región iberoamericana es la Universidad Complutense que produce más documentos (410 en total; que la Universidad de Barcelona es la más citada (324); que el CSIC es la institución con la producción ponderada más alta (401.037) y que la Universidad Católica de Valparaiso de Chile, es la más internacionalizada, ello es a primera vista factible. Pero que el Observatorio el Roque de los Muchachos, un observatorio astronómico ubicado en Las Palmas, sea líder de las instituciones sociales respecto al factor e impacto medio ponderado con 2,44, seguido por el Instituto Astrofísico Espacial y Física Fundamental (LAB) de Madrid desconcierta. También están en la lista de los institutos con publicaciones en ciencias sociales el Instituto Multidisciplinario de Biologia Celular (La Plata – Argentina), el Instituto Tecnológico y Nuclear (Sacavém – Portugal), la Comissao Nacional de Energia Nuclear (Rio de Janeiro – Brasil), el Centro de Investigaciones Biológicas del Noroeste (La Paz –Mexico) y otros que no pertenecen exactamente al ámbito de las ciencias sociales.
FICHA 8: CHE Hochschul-Ranking
<http://ranking.zeit.de/che10/CHE>
Observación
El CHE-Hochschulranking (CHE-Ranking de Instituciones de Educación Superior) no es propiamente un ranking internacional en el sentido de evaluar universidades de todo el mundo, sino que se trata de un ranking de universidades de habla alemana o de universidades con un alto porcentaje de estudiantes alemanes como, por ejemplo, algunas pero no todas las universidades neerlandesas.
Objetivo
El Centrum für Hochschulentwicklung (CHE – Centro para el Desarrollo de la Enseñanza superior/traducción propia ) elabora este ranking desde 1998. Se publica en la Web de un medio de prensa (desde 2005 en la DIE ZEIT, periódico semanal). El primer objetivo es dar información tanto a los estudiantes que entran por primera vez como a los que quieren cambiar de universidad, sobre las posibilidades y las condiciones de estudios en las diferentes universidades alemanas (y actualmente también de Austria, los Países Bajos, Suiza y Austria). Mediante la presentación evaluativa y comparativa de la oferta de estudios y de sus condiciones se pretende, además, contribuir a la transparencia de la oferta así como al rendimiento de las universidades en el ámbito de la enseñanza, reforzando de esta manera el desarrollo de perfiles propios de las universidades y de sus facultades. El CHE-Ranking se basa en cuatro principios conceptuales:
- los rankings deben tener como referencia las facultades y no las universidades. Una agregación de datos al nivel de la universidad no facilitaría a los estudiantes ninguna información valiosa para decidir estudiar dónde y qué
- La situación de una facultad podría ser diversa en las diferentes dimensiones importantes de las instituciones de la enseñanza superior: enseñanza, investigación, tutorías, equipamiento etc. Por ese motivo, la evaluación debe ser multidimensional
- Un ranking debe incluir diversos puntos de vista para obtener una imagen diferenciada de la facultad. Por eso se incluye, aparte de los datos objetivos, las opiniones de los profesores y de los estudiantes.
- Un ranking no debe presentarse de forma detallista y matemática cuando no se pueden obtener datos numéricos en todas las vertientes de la evaluación. Por lo tanto, no se debe adjudicar valores numéricos a indicadores de calidad. Por este motivo el CHE-ranking usa tres grupos para expresar el ranking: el grupo de elite, el grupo intermedio y el grupo de cola.
Metodología
La evaluación clasificatoria se basa en datos objetivos sobre la situación de la enseñanza universitaria y en datos subjetivos procedentes de evaluaciones, por parte de profesores y de estudiantes. Los datos objetivos se obtienen de diferentes fuentes ya sea a través de encuestas a las facultades y la administración central de las instituciones de la educación superior (el CHE incluye no sólo universidades, sino también politécnicas) o bien de instituciones estatales responsables de los exámenes e instituciones de deporte universitario; también del análisis bibliométrico, del registro de patentes y de análisis estadísticos especiales de la oficina estatal de estadística. Los datos subjetivos se obtienen a través de encuestas entre el profesorado, por un lado, y entre los estudiantes, por el otro.
Cada verano, se realiza una encuesta en línea entre las facultades para obtener datos estadísticos relevantes. El CHE revisa los datos y reenvía los resultados a los rectorados y a las facultades para nueva revisión, abriendo la posibilidad de correcciones y añadidos.
Paralelamente, se efectúa una encuesta por escrito a la administración central de las instituciones de la enseñanza superior para obtener datos generales (p.ej. horarios de la biblioteca central, asesoramiento estudiantil, tasas de estudios etc.)
En relación a los años 2006 y 2009, el CHE constató que alrededor del 93% y del 95% respectivamente de las facultades de las instituciones de la enseñanza superior habían contestado, con un nivel ligeramente más bajo en el área de ciencias sociales y económicas, particularmente, en historia y ciencias de la comunicación/ periodismo.
Además se realizó una encuesta entre los profesores de los instituciones de la enseñanza superior sobre la reputación de las facultades respecto a la enseñanza y la investigación. No se incluyen en esta encuesta los docentes sin estatus de profesores, ni los profesores invitados y tampoco los profesores eméritos u honoríficos. En los citados años, 2006 y 2009, la encuesta se envió a aproximadamente 31.000 profesores obteniendo respuesta de un 42,3% y 47,2% respectivamente.
También se realiza – vía administración de las instituciones de la enseñanza superior – una encuesta electrónica entre los estudiantes asegurando que un estudiante sólo puede participar una vez. De un total superior a 325.000 estudiantes en 2006 y a 644.000 en el 2009, han participado un 22,9% y 21,2% respectivamente. Se preguntó por la oferta de estudios, su organización, su orientación práctica, el asesoramiento y tutorías, equipamiento y la situación de estudios en general de la facultad. Se incluyeron también preguntas sobre la vivienda, alquiler y transporte.
Para asegurar que los indicadores reflejan adecuadamente lo específico de las facultades, se ha creado para cada disciplina un consejo de asesores formado por representantes de las facultades y asociaciones científicas/ profesionales.
El CHE-Ranking se ha expandido a las siguientes 35 disciplinas presentado por áreas de conocimiento:
Matemática, informática, ciencias naturales y medicina: Bioquímica, biología, geociencias, geografía, farmacia, física , informática, informática económica, matemáticas, medicina dental, medicina humana, química y química de alimentos,
Derecho, ciencias sociales y económicas: Derecho/derecho económico, ciencias políticas, economía empresarial, economía, ingeniería económica, servicios sociales (Pflege), sociología/ciencias sociales y trabajo social
Filología y ciencias culturales: Filología inglesa/ norteamericana, pedagogía, filología alemana, historia, ciencias de la comunicación/periodismo y psicología.
Ciencias de ingeniería: Arquitectura, ingeniería de la construcción, tecnología electrónica e informática, arquitectura de interiores, construcción de maquinaria, tecnología física, tecnología de procesos y tecnología de mediciones.
En algunas disciplinas como filología inglesa y alemana, historia, biología, matemáticas y geografía se realiza un análisis espacial para los estudiantes de carreras para la educación escolar (Lehramtsstudiengänge). Se trata de una rama de estudios específicos orientados a la educación primaria y secundaria.
Los indicadores se establecen para nueve módulos:
1. Módulo estudiantes: a) datos objetivos: número total de estudiantes, cuota de mujeres, nuevos estudiantes (1º y 2º Semestre), condiciones de acceso a los estudios, cuota de aspirantes y de admitidos.
2. Módulo resultado de estudios: a) datos objetivos: promedio de notas obtenidos, número de semestres (actualmente no incluido), número de graduados, semestres de estudios según reglamento de estudios, graduados en el tiempo previsto por el reglamento, certificados de estudios (diplomas, suplemento europeo, etc.).
3. Módulo internacionalización: a) datos objetivos: cursos en un idioma extranjero; conocimiento de un idioma extranjero como requisito de acceso, estancias obligatorias en el extranjero; prácticas obligatorias en el extranjero; cuota de estudiantes extranjeros, cuota de profesores extranjeros, cuota de profesores en el extranjero, países de preferencia de intercambio de estudiantes (entrada – salida), b) datos subjetivos (por parte de los estudiantes): soporte a estancias en el extranjero
4. Módulo investigación: a) datos objetivos: financiación externa/profesores; registro de inventos por cada diez profesores, redes de investigación; grupo de investigación de postgrados (Graduiertenkollegs), publicaciones científicas de los profesores/personal científico, publicaciones internacionales de los profesores/personal científico, cuota de citación (en ambos casos se utilizan bases de datos de publicaciones especializadas en las disciplinas tanto de habla alemana como inglesa), doctorados/profesores; habilitaciones/profesores; b) datos subjetivos (de parte de los profesores): reputación investigadora los profesores debían indicar cinco facultades alemanas lideres en su campo científico. Actualmente se ha expandido esta encuesta a otros países (Austria y Suiza) aplicando un método de ponderación.
5. Módulo estudios y enseñanza: a) datos objetivos: estudiantes/profesor-científico, cuota de la enseñanza dada por docentes temporales. Créditos totales, estructura de los currícula, distribución del currículo entre disciplinas. ; b) datos subjetivos (por parte de los estudiantes): tutoría de parte de los profesores, grado de implicación en investigaciones, aprendizaje electrónico, excursiones, oferta de estudios, contactos entre estudiantes, formación metodológica; evaluación de la organización del currículo, etc.
6. Módulo equipamiento: a) datos objetivos: datos específicos para medicina dental, psicología y medicina humana; horario de la biblioteca, ordenadores para trabajar en la biblioteca, disponibilidad de literatura específica para la disciplina, disponibilidad de laboratorios de idiomas; b) datos subjetivos (de parte de estudiantes): equipamiento de los puestos de trabajo, equipamiento audiovisual, biblioteca, infraestructura de información y comunicación, salas, equipamiento de laboratorios, de prácticas y de tratamiento. b) datos subjetivos (por parte de graduados): calidad de tutoría, estructura y organización del currículo, amplitud de la oferta de estudios.
7. Módulo relevancia profesional y laboral: a) datos objetivos: elementos prácticos, bolsa de estancias prácticas, consejo de representantes externos; duración de la estancias de prácticas ((permanencia en)la empresa de prácticas), centro de planificación profesional (colaborando con empresas), promoción de la empleabilidad; b) datos subjetivos (por parte de estudiantes o graduados): relevancia profesional y laboral, prácticas, preparación para la vida laboral, transferencia de conocimientos profesionales básicos, de competencias de transferencia, de competencia para resolver problemas, de competencia para trabajar independientemente y para aprender, de competencia de trabajar en equipo
8. Módulo evaluación general: a) datos subjetivos (por parte de los estudiantes): deben hacer una evaluación general de la situación de los estudios de su facultad actual b) datos subjetivos (por parte de los profesores): se pide a los profesores que mencionen tres facultades alemanas a las que enviarían a sus propios hijos.
9. Módulo ciudad y universidad: a) datos de la ciudad: número de habitantes, porcentaje de estudiantes/habitantes, transporte más usado, formas de vivienda, alquiler privado, plazas en las residencias estudiantiles, alquiler en residencias estudiantiles. b) Datos de la universidad: número de estudiantes, facultades principales, tasa de estudios – cuota de matriculación, horario de las oficinas de asesoramiento estudiantil, horario de la biblioteca, oferta de deporte universitario, estudiantes que practican deporte en la universidad, año de la fundación del instituciones de la enseñanza superior.
Presentación
Los resultados de la evaluación se presentan de forma compacta e interactiva en un medio de la prensa. Se hace la presentación por disciplinas, diferenciando por módulos y por grupos: las universidades de los primeros 25% de los valores del rango serán agrupadas en el grupo de cabeza, las universidades de los siguientes 50% en el grupo intermedio y el resto en el grupo de cola. Cuando los valores son muy próximos uno del otro, entonces la agrupación se orienta a los saltos en la valoración. En el caso de que las universidades muestren valores muy similares, se las agrupa en el mejor grupo. En la presentación se incluye también la dimensión temporal indicando un mejora, empeoramiento y el mantenimiento del nivel.
CHE-Ranking Compact sociología/ ciencia sociales
Nota: por razones de espacio se presenta aquí el recorte de las diez primeras
universidades.
Traducción
de términos:
Spitzengruppe: grupo de cabecera
Mittelgruppe: grupo intermedio
Schlussgruppe: Grupo de cola
Nicht
gerankt:
no evaluado
Aufsteiger: ascendido
Absteiger: descendido
Forschungsreputation: reputación investigadora
Forschungsgelder: financiación de la investigación
Methodenausbildung: Formación metodológica
Bibliotheksausstattung: Equipamiento de bibliotecas
Betreuung: acompañamiento, asesoramiento
Studiensituacion insgesamt: situación de estudios en general
El ranking es accesible actualmente a través de la Web del periódico “Die Zeit” ofreciendo: a) una visión de la situación de la disciplina por universidad desagregada en seis dimensiones: reputación de la investigación, financiación de investigación, formación metodológica, equipamiento de la biblioteca, tutorías y situación de estudios total. b) una visión de la universidad en las mismas seis dimensiones pero ahora ordenado alfabéticamente, luego más detallada según datos objetivos, datos subjetivos por parte de los estudiantes y la reputación investigadora (datos subjetivos por parte de los profesores), c) información detallada de la situación de las facultades por universidad, etc. Esto permite, además, individualizar la clasificación según las preferencias del buscador.
Comentario
El CHE-ranking está considerado actualmente como uno de los mejores para la evaluación clasificatoria de las universidades, debido a sus características específicas a) de no elaborar un ranking general de universidades, sino de facultades; b) definir bien el campo de evaluación (la educación) y los clientes (estudiantes); c) utilizar una mezcla de metodología (datos objetivos y datos subjetivos obtenidos a través de encuestas entre docentes y estudiantes); d) no presentar los resultados con valores numéricos, ni agregados; y e) por su transparencia respecto a la metodología y los datos de las encuestas.
El punto crítico de esta clasificación ordenada es su metodología estrella: la encuesta entre estudiantes. El uso de esta metodología parte de varios supuestos:
- las universidades son una institución que proporciona un servicio determinado (la educación) y que tiene un cliente determinado (el estudiante);
- las valoraciones de los estudiantes respecto a las universidades son un indicador valido para evaluar la calidad de la educación superior.
- Las encuestas entre estudiantes son metodologías de evaluación tan validas como otros tipos de evaluaciones profesionales
Es decir, se considera que los estudiantes como clientes de la universidad son expertos, que pueden evaluar la calidad de la enseñanza de primera mano como observadores cotidianos del sistema y pueden emitir juicios y valoraciones fundadas y fiables.
Una metodología de este tipo se centra en la evaluación de la educación desde la perspectiva muy especifica de cliente. Pero el estudiante no es un cliente de un servicio cualquiera, sino de un servicio muy específico que implica una interacción intensa y compleja con el proveedor del servicio, que es el docente. Por lo tanto, la posición del cliente-estudiante frente al proveedor del servicio no es comparable a la posición de un cliente de un servicio de limpieza o de informática, para poner dos ejemplos. El grado de interacción es mucho mayor, pero lo que es más importante, las expectativas del cliente-estudiante son mucho mas complejas.
Uno de los puntos más críticos de una evaluación basada en encuestas entre estudiantes es el módulo “relevancia profesional y laboral”, que, en principio, es solamente medible a posteriori. A nivel de universidades o de agencias de calidad, ya hay proyectos de encuestas entre antiguos alumnos, respecto al valor de la educación superior recibida para su carrera profesional, pero el CHE-ranking parece que se limita más al colectivo de los estudiantes. Eso resta valor informativo a este módulo indicador.
No obstante, dentro de estos limites y comparado con las demás clasificaciones ordenadas, se considera este ranking como uno de los mejores, lo que podría permitir el desarrollo de una propuesta para una evaluación clasificatoria al nivel europeo (Marginson & Van der Wende). Y en un informe del Education Policy Institute (2006) de Canadá lo han considerado como un ejemplo de mejores prácticas de evaluación clasificatoria de educación superior[28].
FICHA 9: Ranking Web de Universidades del Mundo
Objetivo
El Ranking Web de Universidades, elaborado por el Laboratorio de Cybermetría del CSIC español, esta basado en indicadores Web, reflejando las actividades ejercidas por profesores e investigadores en la Web. La clasificación no se centra en los resultados de investigación, sino que usa otros indicadores para reflejar la calidad global de las instituciones académicas y de investigación del mundo entero. El objetivo de este ranking es el de promover las publicaciones en la Web por parte de las universidades y su personal académico, evaluando su compromiso con la distribución electrónica, y el de luchar contra un problema muy preocupante en el entorno académico, que es el de la aparición de una brecha digital.
Metodología
La unidad de análisis es el dominio institucional, por lo que sólo aquellas universidades y centros de investigación con un dominio Web independiente son tomados en consideración. Si una institución tiene más de un dominio principal, se utilizan dos o más entradas para las diferentes direcciones.
El primer indicador Web, el Factor de Impacto Web (WIF de las siglas en inglés), combina el número de enlaces externos entrantes con el número de páginas Web de un dominio, siguiendo una relación 1:1 entre visibilidad y tamaño. Esta relación se usa para hacer el Ranking, añadiendo dos indicadores nuevos al componente del tamaño: El número de documentos, medido por el número de ficheros ricos que contiene un dominio Web y el número de publicaciones comprendidas en la base de datos del Google Académico.
A partir de los resultados cuantitativos obtenidos de los principales motores de búsqueda, se han diseñado cuatro indicadores como se detalla a continuación:
- Tamaño (S): Número de páginas recuperadas desde los 4 motores de búsqueda: Google, Yahoo, Live Search y Exalead. La inclusión del número total de páginas se basa en el reconocimiento de la existencia de un nuevo mercado global para la información de tipo académico. (20% de peso en el resultado global)
- Visibilidad (V): El número total de enlaces externos únicos recibidos (inlinks) por un sitio que se pueden obtener de forma consistente desde Yahoo Search, Live Search y Exalead. El número de enlaces entrantes externos recibidos por un dominio es una medida que representa la visibilidad y el impacto del material publicado (50% de peso en el resultado global).
- Ficheros ricos (R): Los siguientes formatos de archivo fueron seleccionados tras considerar su relevancia en las actividades académicas y de publicación, y teniendo en cuenta su volumen de uso: Adobe Acrobat (.pdf), Adobe PostScript (.ps), Microsoft Word (.doc) y Microsoft Powerpoint (.ppt). Estos datos fueron extraídos a través de Google, Yahoo Search, Live Search y Exalead. El éxito de las iniciativas de auto-archivado y otros repositorios puede estar representada por los datos del Google académico y los ficheros ricos (15% de peso en el resultado global).
- Académico (Sc): El Google académico proporciona el número de artículos y citas para cada dominio académico. Los resultados obtenidos de la base de datos del Google Académico comprenden artículos, informes y otro tipo de documentos académicos (15% de peso en el resultado global).
Los cuatro valores ordinales fueron combinados de acuerdo a los porcentajes mencionados que permiten mantener la relación 1:1 entre visibilidad y tamaño.
Presentación
Los resultados de la evaluación clasificatoria de 6000 universidades están presentados en formato de tabla. De entrada, aparece una tabla en la que las universidades están ordenadas según su posición en el ranking general. En esta tabla, se puede consultar también la posición de las universidades en los rankings de cada indicador.
Tabla de la Clasificación de las 6.000 mejores universidades
del Web-ranking
Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras
universidades.
Haciendo clic sobre la palabra ‘universidad’ se cambia a una tabla con los resultados detallados de cada indicador, ahora, por orden alfabético de las universidades.
Tabla de la evaluación de las 6.000 mejores universidades por orden alfabético del Web-ranking
Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras universidades de la lista.
Aparte se publican las clasificaciones por área geográfica limitándose a las 100 primeras universidades. En este caso, se da a conocer solamente el puesto en el ranking general y las universidades están ordenadas por su posición.
Tabla de la clasificación de las 100 mejores universidades
europeas del Web-ranking
Nota: por razones de espacio se presenta aquí el recorte de las cinco primeras
universidades.
Comentario
Se trata de un clasificación innovadora que propone una alternativa a las clasificaciones bibliométricas conocidas y académicas o educativas, basada en la metodología de las citas en el nuevo medio de comunicación Internet.
Lo autores delimitan claramente su objetivo y no pretenden hacer una clasificación general de las universidades. Es el ranking internacional de referencia (véase www.IREG.org) para medir la presencia mediática en Internet,
Los indicadores dan una impresión de la visibilidad de las universidades en Internet, que no se debe confundir con su relevancia académica. La visibilidad en Internet es importante cuando se concibe el ámbito académico como un mercado, donde la visibilidad es un factor clave de competividad entre universidades.
Se trata de una clasificación jerarquizada de universidades que no incluye información desagregada de facultades o personal académico, por lo tanto, el valor del ranking no se encuentra en el ámbito de la investigación ni de la educación sino en la presencia mediática de la universidad.
Como en los demás clasificaciones presentadas, el sistema de ponderación no quedan bien justificado. La ponderación de los diferentes indicadores parece arbitraria.
FICHA 10: International Professional Ranking of Higher Education Institutions
Ranking Professional Internacional de Instituciones de la Educación Superior
(del École des Mines de Paris)
<http://www.mines-paristech.fr/Actualites/PR>
<http://www.mines-paristech.fr/Fr/Actualites/PR/EMP-ranking.pdf>
Objetivo
Este ranking pretende elaborar un indicador único para la calidad educativa de las universidades, equivalente al indicador de los premios científicos usado en el ARWU (premio Nobel, medallas Field etc.). Este equivalente se refiere a dónde han obtenido sus titulaciones académicas los más altos ejecutivos de las empresas, incluidas en el Fortune Global 500.
Metodología
Usando la lista de las 500 empresas más importantes de Fortune Global 500, se analiza en que institución de la educación superior han obtenido sus titulaciones los más altos ejecutivos (GEO’s). En el ranking 2009, usado aquí como referencia, se ha redefinido la metodología:
A cada uno de los máximos ejecutivos de un empresa se le asigna 1 punto. En el caso de que una empresa tenga dos máximos ejecutivos, a cada uno se le asigna medio punto. Este punto se distribuyó entre las instituciones de educación superior en la que el director ejecutivo (CEO -chief executive officer) ha obtenido sus titulaciones. En el caso de que el director ejecutivo haya obtenido sus títulos en un única universidad (X), entonces esta universidad obtiene un punto. En el caso de que haya obtenido un titulo en la universidad (X) y otro en la universidad (Y), cada una obtiene medio punto. En el caso que haya obtenido títulos en tres universidades, cada una obtiene un tercio de punto. En el caso de que una empresa tenga más de un director ejecutivo, estos puntos serán divididos por el número de directores ejecutivos de la empresa.
En los casos en que no se puede obtener datos sobre las titulaciones de un director ejecutivo, no se incluye ningún punto en la evaluación. Para el Ranking 2009, este ha sido el caso de 3 empresas americanas, 16 europeas y 12 de Asia del Pacífico, lo que desfavorece las instituciones de enseñanza superior del continente europeo y asiático.
Presentación
La publicación del International Professional Ranking ofrece en la introducción una explicación y justificación de la metodología. Además efectúa un breve análisis de los datos por países, presentando de que países proceden los quince mejores universidades; de que país proceden las instituciones que han formado 4 o más directores ejecutivos (los 25 mejores universidades); y de que país proceden las instituciones que han formado 4 o más directores ejecutivos (las 62 mejores universidades). También hace una comparación de la distribución ideal entre países (origen de la empresa equivalente a puntos del país) y los puntos realmente obtenidos por las universidades de un país.
En una primera lista se presentan los directores ejecutivos de las 500 empresas (nombre de las empresas, país de la empresa; nombre del presidente, y los puntos asignados), el número de titulaciones y donde han obtenido los títulos.
Tabla de las carreras académicas de los directores
ejecutivos de los 500 mejores empresas del 2009 del International
Professional Ranking
Nota: por razones de espacio se presenta aquí el recorte de los directores
ejecutivos de las cinco primeras empresas de la lista FORBES 500.
En una segunda lista se presentan los puntos obtenidos por las 377 instituciones líderes de la enseñanza superior ordenadas de forma descendiente
Tabla de las 377 instituciones lideres de la enseñanza
superior del 2009 del International Professional Ranking
Nota: por razones de espacio se presenta aquí el recorte de las primeras 20
instituciones.
Comentario
Se trata de una clasificación basada en un único indicador que pretende medir la calidad de la educación de las mejores universidades. Se concentra en la elaboración de un indicador alternativo del ARWU en el módulo de calidad de la facultad (Award ver Ficha 1). Se justifica la elección de un único indicador: a) para establecer un procedimiento similar al ARWU, considerando que la posición de un director ejecutivo de una de las 500 empresas más importantes del mundo es algo similar a ganar un premio Nobel o una medalla Field; b) por ser un indicador verificable y reproducible por cualquier otro investigador; c) por ser reproducible año tras año, d) este indicador pone énfasis en la dimensión de la formación de recursos humanos, para un segmento muy elitista del mercado laboral complementando así el indicador de ARWU, para medir la calidad de las universidades líderes en el mundo.
La ventaja de este indicador reside en su simplicidad y su complementariedad con el ARWU. Sin embargo, la información que presenta es demasiado reducida. Para valorar bien este indicador se debería introducir la vertiente del campo de estudios y el sector en el que actúan las empresas. No deben presentar en su análisis solamente una distribución de las empresas por país, sino también por sector económico; no solamente una distribución de las universidades presentes en el ranking por países, sino también por área de conocimiento.
Suponiendo que la mayoría de los directores ejecutivos tengan estudios económicos y/o técnicos, este indicador mide, si es mucho, la calidad de las IES en estos campos y no establece un ranking de universidades lideres en el mundo en el área de la educación en general.
Dado que las carreras en las empresas no dependen exclusivamente de la calidad de la educación superior recibida, sino más bien de las dotes políticas de los directores ejecutivos, el valor de este indicador para establecer un ranking de las universidades líderes en el ámbito de la educación es muy relativo.
Validez y alcance de los rankings
El hilo conductor de la presentación de los diferentes rankings ha sido la pregunta ¿con qué objetivo se han elaborado? y ¿qué valor añadido aportan a los procesos de decisión de los responsables políticos y de los estudiantes? Esta revisión de las diferentes clasificaciones parte de la idea de que deben servir no solamente para situar un sistema universitario, una universidad o una facultad en una especie de liga mundial, europea o nacional, sino que deben tener el objetivo de facilitar la toma de decisiones para mejorar el funcionamiento de la institución o del sistema de ciencia y/o educación superior.
En la introducción, se ha insistido en que los rankings y el benchmarking son métodos para reforzar la competividad en el ámbito de la administración pública y especialmente en los sistemas públicos de educación, creando cuasi-mercados. Se parte de la idea de que también los sistemas de educación superior estatales están cada vez más caracterizados por la competencia y por la creación de perfiles propios de cada universidad, lo cual implica que están cada vez más sometidos a leyes de mercado. A pesar de que las universidades no están orientadas a beneficios económicos, deben actuar cada vez más como empresas, adaptando, por ejemplo, su oferta de estudios a los cambios de la demanda y percibiendo a los estudiantes más bien como clientes.
Desde luego, las universidades están orientadas a beneficios, pero no (sólo) a beneficios económicos, sino más a beneficios científicos y educativos. En este sentido, el problema del enfoque de los rankings no es que suponga una competición entre instituciones y sistemas, sino que perciben esta competición bajo el prisma economista. Pero ésta en los otros sistemas sociales como la política, cultura, educación etc. sigue reglas diferentes. En otras palabras, se debe hacer el esfuerzo de redefinir tanto el concepto de competición como empresa para el ámbito de las universidades.
La calidad se percibe como el factor más relevante para introducir el principio de mercado en el sistema de la educación superior[29]. También el documento “Los principios de Berlín” propuestos por el IREG deja clara esta orientación a la filosofía de mercado, pero insiste asimismo en el hecho de que los rankings no deben ser el único método de evaluación de los sistemas de educación superior. Evaluaciones, benchmarking y rankings miden la calidad de servicios, programas, proyectos, productos, organizaciones o instituciones con la intención de inducir procesos de mejora. Y, por lo menos, el benchmarking y los ranking introducen la comparación entre diferentes instituciones y sistemas, reforzando la competición entre ellos.
Las evaluaciones de los sistemas educativos se basan necesariamente en la reducción de la complejidad de estos sistemas a través de la definición del sujeto de la evaluación, de la metodología y del ámbito institucional en que se pretende introducir mejoras. Benchmarking y rankings reducen esta complejidad, además, con su orientación a la competitividad de mercado. Sin embargo, no queda claro cuál es el mercado, cuáles son los clientes, cuál es la demanda y, por ende, qué es la calidad. Los sistemas de educación superior y las universidades suelen ser sistemas muy complejos con funciones sociales diversas. Centrándonos primero en la educación superior en el estricto sentido de la palabra, aparecen preguntas como éstas:
a) ¿Las universidades tienen una función educadora y/o formativa?
b) ¿Qué sistemas sociales son los clientes de las universidades: la economía (mercado laboral) o la sociedad en general?
c) ¿La demanda por educación superior viene de los estudiantes, de las empresas o de la sociedad?
d) En cuanto al cliente empresa, ¿de qué tipo de empresas se está hablando: empresas grandes, medianas o pequeñas, con orientación nacional o internacional, innovadoras o no, orientadas a beneficios o sin animo de lucro, empresas privadas o públicas etc?
e) En cuanto al cliente estudiante; ¿de qué tipo de estudiante se está hablando: un estudiante joven a tiempo completo o a tiempo parcial recientemente salido de la escuela, un estudiante con experiencia profesional en régimen de aprendizaje permanente, un estudiante con experiencia profesional en régimen de formación ocupacional etc.
Y en cuanto a la investigación, tampoco queda muy claro cuál es su mercado. Esta cuestión procede de la diferencia entre ciencia, que se ha constituido en la sociedad moderna como sistema propio, y tecnología que está sometida a otros imperativos como, por ejemplo, de la economía y de la política. De ahí viene la pregunta de si una universidad está orientada a la investigación científica y/o tecnológica. En cuanto al ámbito científico, a primera vista parece obvio que las universidades se orientan a la comunidad científica internacional en general. No obstante, en algunas áreas, la ciencias están más orientadas a ámbitos geográficos concretos (por ejemplo en las ciencias lingüísticas) o a ámbitos temáticos mas concretos y más delimitados. No existe una sociedad científica internacional como tal, sino sociedades científicas internacionales organizadas por disciplinas y subdisciplinas.
Respecto a la vertiente de la investigación tecnológica, cuál es el paradigma actual de las políticas europeas en el ámbito científico (modo 2 de la producción del conocimiento y el enfoque de triple helix[30]), la cuestión crucial es la transferencia del nuevo conocimiento científico en innovaciones y/o mejoras tecnológicas. En este caso, no se puede medir la excelencia de una universidad a través de las publicaciones en revistas científicas, sino avanzar en el desarrollo de indicadores más adecuados. De todas formas, en este contexto surge la cuestión de si las actividades tecnológicas de las universidades están orientadas a un mercado regional, nacional o internacional y si los clientes potenciales son empresas grandes, medianas o pequeñas.
Por lo tanto, los términos mercado, competencia y demanda acotan la orientación política de la evaluación, pero dejan igual de difuso el campo de la evaluación. Aparte de esta orientación general al principio mercantil, los ranking deben, por lo tanto, dejar claro cual es el sujeto de la evaluación y cual es el grupo de clientes a que se dirige.
En la presentación de las diferentes clasificaciones, se ve que estas varían según el sujeto y el grupo de clientes a que se dirigen. Por ejemplo, el ARWU tenía inicialmente el objetivo de medir cómo estaba situado el sistema universitario chino en el sistema mundial de las ciencias. Eso justifica: a) la limitación del ranking al ámbito de la investigación y b) evaluar las universidades y no las facultades. Las limitaciones metodológicas de los indicadores se deben en gran parte a los problemas para conseguir datos homogéneos para todas las universidades. Por estas limitaciones, el ranking padece una cierta sobrevaloración de las ciencias naturales, que se expresan en la elección de revistas de referencia y del tipo de publicaciones. También tiene un sesgo reconocido hacia las publicaciones en inglés, lo que explica en parte el predominio de las universidades de habla inglesa en el ranking. El problema del ARWU reside en el hecho de que ofrece solamente una valoración muy general de las universidades, que no parece facilitar una toma de decisión respecto a la configuración del sistema universitario ni a las universidades en particular, pero que se utiliza para justificar ciertas políticas en el ámbito de la investigación y de la educación superior, por ejemplo, la estrategia de crear universidades de excelencia. Pero no queremos entrar aquí en una discusión detallada de los diferentes rankings, sino hacer un crítica más general.
La diferencia entre una evaluación y un ranking es que se comparan diferentes productos, servicios y programas entre si, y se establece un orden de calidad entre ellos. La máxima y muy común expresión de esta metodología es adjudicar valores numéricos a los diferentes indicadores de calidad y calcular posteriormente un indicador sintético que permita establecer un orden descendente desde el primero hasta el último. A parte, este tipo de ranking, no aportan valor añadido a los actores (sociales) para tomar decisiones respecto a la mejora de las instituciones o los sistemas, ni para tomar decisiones sobre donde estudiar o contratar un proyecto de investigación, si no va acompañado de una información más detallada sobre los puntos fuertes o débiles del sistema o de la universidad. Siguiendo el paradigma deportivo, para el entrenador de un equipo de fútbol no es suficiente saber en que posición de la tabla está su equipo, sino que debe tener información más detallada de como juega su equipo, si falla en la defensa, en el medio campo o en el ataque, si hay muchos lesionados etc.
Desde luego existen otros tipos de ranking en que no se crea un único indicador sintético, sino que se establece una clasificación ordenada por dimensiones, es decir, áreas de actuación de las universidades como docencia, investigación, empleabilidad etc. Y la mayoría de las clasificaciones ordenadas, que elaboran un indicador sintético presentan también los números obtenidos de las universidades en las diferentes dimensiones analizadas. El CHE-ranking renuncia a establecer un orden descendente entre las instituciones o sistemas evaluados, aplicando esquemas más amplios como mejores, intermedios y últimos.
Aparte, hay poca transparencia respecto a los sistemas de ponderación, lo cual no hace referencia, en general, a la exposición del peso de cada dimensión sino a cómo se ha establecido esta ponderación y por qué motivos. Para resolver este problema, el ranking RaTER aplicar una metodología diferente dejando la ponderación en manos de expertos. Sin embargo, el procedimiento y, por ende, el sistema de ponderación queda más opaco aún. Desde luego, la ponderación es solamente un problema en cuanto al objetivo de conseguir un indicador sintético único. Cuando se renuncia a esta medida muy mediática, no existe este problema en tal magnitud.
Los rankings presentados se pueden clasificar según que misiones de las universidades evalúan. Tradicionalmente se asigna a las universidades modernas dos misiones fundamentales: la de educación y de investigación. En la discusión actual del rol de las universidades se añade una tercera misión haciendo referencia a servicios a la sociedad, transferencia de conocimiento y tecnología, transferencia de cultura (científica). Algunos elementos de la tercera misión como, por ejemplo, la transmisión de cultura (científica) ya están incluidos en el ideal humboldtiano de la universidad[31], otros han surgido (de nuevo) en la discusión de la transición hacia la sociedad del conocimiento y en la discusión sobre los nuevos modelos de producción de conocimiento (científico) en forma de triple helix o de Mode 2 que sostienen que se ha implantado una nueva forma de interrelación entre universidades, empresas y sociedad en el proceso de innovación. A pesar de que existen en algunos rankings tímidos intentos de traspasar el limite de modo tradicional de la producción científica, se ve que ninguno de los rankings presentados está evaluando la tercera misión.
De los rankings presentados anteriormente hay siete que se declaran rankings globales y cuyos sujetos de análisis son las así denominadas universidades mundiales, restringiendo de esta forma el número de universidades sometidas al análisis. Marginson & Van der Wende (2007) constatan que este tipo de rankings ha fomentado el concepto de universidades mundiales y la percepción de la competición entre ellos. Para poder comparar universidades, las evaluaciones clasificatorias tenían que reducir el campo de análisis a un cierto tipo de universidad: la ‘comprehensive research-intensive university’.
Las clasificaciones mundiales, que hemos presentado aquí usan el concepto “World University”. Este término tienen dificil traducción al castellano. Por ejemplo en la Web del Web-Ranking (Webometrics http://www.webometrics.info), se habla en la versión inglesa de "Webometrics Ranking of World's Universities", mientras en la versión española se habla de "Ranking Mundial de Universidades". Pero no es lo mismo hablar de un ranking mundial o de un ranking de "universidades mundiales"[32]. Lo primero parece un tipo específico de rankings, mientras en el segundo se hace un ranking de un tipo específico de universidades.
Marginson (2009: 4-5) llama la atención a que los rankings globales usan de esta forma implícitamente una distinción discriminatoria entre dos tipos ideales de universidades:
1) El primer tipo ideal: la universidad de investigación intensiva, que pone énfasis en la investigación y los estudios de graduados, resaltando la excelencia y el prestigio. Está fuertemente orientada a la economía y la sociedad del conocimiento. Compite por estudiantes y fondos de investigación, tanto a escala nacional como internacional. Implícitamente, se considera que este tipo representa “el ideal” de universidades y todas las universidades deben tener el objetivo de entrar en esta categoría alcanzando unos de los primeros puestos. Y los programas políticos de la Unión Europea y de los estados miembros apuestan por reforzar este tipo de universidades, por ejemplo, a través de las iniciativas de excelencia.
2) El segundo tipo ideal: la universidad de educación superior vocacional masificada, que se centra sobre todo en la formación para la economía empresarial, la informática y para las profesiones de alta demanda en los servicios públicos, como educación y sanidad. La inmediata relevancia de la formación y educación superior para los mercados laborales es de alta importancia. Tiene como objetivo aumentar el número de estudiantes y de mejorar su posición en el mercado de la educación superior. Pero implícitamente se considera este tipo como una universidad menor, lo cual coincide con la tendencia de los académicos y del sistema académico de dar más importancia a la investigación que a la enseñanza[33].
Centrándose en la investigación, los rankings globales dan preferencia al primer tipo ideal y influyen normativamente en muchas políticas nacionales reforzando, por ejemplo, la apuesta de algunos estados por las universidades de investigación de excelencia, como Alemania, China, Corea, Francia, Japón y Rusia. Marginson (2009: 13) resalta que este tipo de clasificaciones es por su propia naturaleza injusto. Eso no es debido a la metodología usada sino a su uso y la racionalidad de su existencia. Los rankings reflejan, confirman, consolidan y reproducen el prestigio y el poder[34].
La revisión de las diferentes clasificaciones ha mostrado que se centran, sobre todo, en la misión científica en el sentido tradicional[35]. Hay una cierta proliferación de rankings bibliométricos por ejemplo los del SRI, el de la Performance y el de Leiden. Excepto el International Professional Ranking, se puede añadir también las otras clasificaciones presentadas, que se basan, en parte, en el análisis bibliométrico. Estas clasificaciones suelen referirse sólo a una parte de producción científica: el formato de artículos. Solamente el RaTER incluye en sus indicadores la publicación de monográficos, manuales etc. Se supone que esta limitación a un ámbito específico de la producción científica se debe, principalmente, a la fácil disponibilidad de datos a escala mundial, que ya tienen cierta estructura y reduce por lo tanto el coste de búsqueda y clasificación de los mismos.
De las ocho clasificaciones presentadas, que incluyen un análisis bibliométrico, dos utilizan Scopus de Elsevier, cinco usan bases de datos de la Web of Science de Thomson Reuters y uno no precisa qué tipo de base de datos utiliza. Se trata de bases de datos gestionadas por empresas comerciales. La exclusividad de su uso en los rankings, es decir o se utiliza Web of Science o Scopus, indica intereses comerciales por parte de estas empresas, en estos tipos de análisis. Casals y otros (2008), llaman la atención a la creciente interrelación entre ciencia y repercusión mediática tomando como punto de partida la adquisición de la Web of Science por parte del grupo empresarial Thomson Reuters. “La búsqueda de la repercusión mediática se ha convertido en un elemento de gran importancia para la difusión de conocimiento sin que, en ocasiones, tenga mucha importancia la calidad de lo que se difunde.” Ninguno de los rankings revisados presenta un argumento por el que han seleccionado una de las dos bases de datos, ni por la exclusividad de su uso o por no usar métodos de análisis bibliométricos de publicaciones electrónicas.
Hay que resaltar, que sólo una de las clasificaciones de la producción científica - el de la Performance -, hace el esfuerzo de presentar datos desagregados por campos de conocimiento. Además llama la atención que los diferentes rankings utilizan solamente una de las bases de datos comerciales más importantes (Web of Science o Scopus), lo cual podría influir en los resultados. Y por último, solo una de las clasificaciones presentadas (RaTER) incluye indicadores referentes a la transmisión del conocimiento al mundo económico utilizando por ejemplo como proxy el número de patentes. En una evaluación de los rankings por encargo de la universidad de Gotemborg, Cavalli & Lindblad (2006), se constataron algunos de los puntos críticos de las clasificaciones de la calidad científica, que se han mencionado ya en las fichas:
- Los rankings se hacen con base en una descripción reducida de la vida académica y de sus resultados.
- Se observa un sesgo lingüístico en los rankings.
- Se observa un sesgo hacia ciertos campos científicos como matemáticas, ciencias naturales, medicina, y tecnología.
- Los rankings recogen solamente un tipo muy específico de la difusión del conocimiento: los artículos.
- Las universidades generalistas cuyas facultades cubren un amplio abanico de áreas de conocimiento y las universidades que ponen énfasis en la misión educativa y formativa están en desventaja frente a las universidades más especializadas en medicina, tecnología o ciencias naturales[36].
Lindblat (2008) considera que la evaluación de la calidad académica en los rankings globales está, en el mejor de los casos, diseñada de forma imprecisa y, en el peor de los casos, errónea. Sin embargo, en el caso de los rankings meramente bibliográficos, estos dejan claro desde el principio que solamente evalúan esta parte específica de la calidad académica, mediante una única base de datos comerciales.
Hay tres clasificaciones internacionales -el ARWU, el THES y el RaTER-, que pretenden cubrir adecuadamente los dos campos esenciales de las universidades: investigación y educación. La parte de la investigación ya se ha discutido en el párrafo anterior. Por lo tanto, nos centramos a continuación en como estos rankings cubren el ámbito de la educación. El ARWU propone cubrir la dimensión de la educación a través de los indicadores de premios recibidos por personal de la universidad. El THES-ranking cubre esta dimensión a través de una encuesta entre empleadores y la ratio entre el equivalente al estudiante a tiempo completo y el equivalente del personal académico de la universidad a tiempo completo. Y el RaTER mide el rendimiento académico a través del número de programas de estudios, número de personal académico a tiempo completo, número de estudiantes matriculados y estudiantes ganadores de premios académicos internacionales. En todos los casos, se trata de proxies para medir la calidad de la educación superior. Ya hemos mencionado el problema de recurrir a los premios como indicador de la calidad educativa, pero hay que resaltar que la propuesta de ARWU se centra exclusivamente en el ámbito del sistema de ciencia, sin tener en cuenta que la educación superior no tiene la función de formar mano de obra sólo para el sistema científico, sino para más segmentos del mercado laboral, especialmente, la administración pública. La propuesta del ‘International Professional Ranking’ se puede interpretar como un complemento al indicador de ARWU, pero tienen los mismos problemas conceptuales. La propuesta de THES-ranking de una encuesta entre empleadores de mano de obra graduado, aplica una metodología similar a la del CHE-ranking, que esta haciendo encuestas entre estudiantes. Sin embargo, el uso de la metodología en el THES-ranking parece poco transparente y de poco éxito, por lo cual surgen dudas de su validez. Por otro lado, un indicador con base en datos del número de estudiantes y personal académico –usado tanto por THES como por el RaTER-ranking– parece abierto a una revisión por parte de otros investigadores. Sostenemos que, en principio, este tipo de datos deben ser desagregados por facultad porque las condiciones de estudios son muy diferentes de una facultad a otra debido a su organización como también lo es la demanda de parte de los estudiantes. De todas formas, este indicador numérico tampoco es suficiente para conocer la calidad de la educación, porque ésta se muestra en el mercado laboral y en las trayectorias profesionales.
Para el ámbito de la segunda misión de las universidades, en muchos países existen clasificaciones ordenadas nacionales, en su mayoría, elaboradas regularmente por encargo de un medio de publicación y que tienen por objetivo valorar la calidad de la educación superior y servir como guía para los estudiantes. Hacer referencia a todas estas clasificaciones nacionales hubiera rebasado las competencias lingüísticas de los autores y también los limites de este artículo. Sin embargo, hemos incluido el CHE-ranking porque está considerado, en diferentes publicaciones sobre rankings, como enfoque innovador y ejemplar. En su ficha se ha comentado ya el problema de su metodología de considerar al estudiante como experto capaz de valorar la calidad del servicio, como cliente de un servicio determinado. Aquí queremos hacer hincapié en otro aspecto problemático: la dimensión temporal para valorar la calidad de un servicio educativo. La calidad de la educación se muestra más en la próxima fase educativa (paso de la educación primaria a la educación secundaria obligatoria, de la educación secundaria obligatoria al bachillerato o a la formación profesional y luego a la educación superior), o una vez terminada una trayectoria educativa, es decir, en la transición al mercado laboral y en la trayectoria profesional posterior. Como indicador complementario se ofrece el ‘International Professional Ranking’ analizando los orígenes universitarios de dirigentes de empresas multinacionales. Sin embargo, este indicador conlleva también algunos problemas, dado que su ámbito analítico es demasiado restringido y debería ser ampliado a dirigentes de centros de investigación, de administración pública etc. Pero lo que es más importante aún, se puede suponer que la influencia de la educación superior recibida pierde impacto en la trayectoria profesional en el curso de tiempo. Por otro lado, recurrir a este indicador complementario, conlleva el riesgo de no analizar la calidad de la educación superior de las universidades, sino la función de una universidad como mecanismos de selección.
Una mención aparte se merece el Ranking Web, que cubre un aspecto muy específico de la actividad de las universidades: su presencia mediática en Internet. Se trata de una clasificación innovadora de las universidades que podría ganar importancia en el proceso de la internacionalización de la educación superior y de los procesos de investigación.
Para finalizar esta revisión de los rankings accesibles en Internet, comentamos un problema del diseño de los mismos. Los autores del ‘International Professional Ranking’ justifican la selección de su único indicador para medir la calidad de la educación superior por el hecho de que se trata de un indicador verificable y reproducible por cualquier investigador y en los años siguientes. La selección del AWRU de los premios como indicador cumple en principio con los mismos requisitos. Este argumento llama la atención a uno de los problemas del diseño de cualquier ranking internacional o nacional: la disponibilidad y obtención de datos para confeccionar los indicadores. En el ámbito de los rankings bibliométricos, su mayoría opta por usar una de las bases de datos de revistas de los dos grandes proveedores comerciales mundiales. El CHE-ranking complementa el análisis bibliométrico internacional con un análisis de bases de datos nacionales disponibles para diferentes áreas de conocimiento. Las publicaciones en formato de libro, muy importantes en algunas áreas de conocimiento, quedan excluidas. Se puede suponer que eso es debido a problemas para obtención de los datos correspondientes tanto al nivel nacional como internacional[37], de la complejidad de su análisis y de su coste. Estos pocos ejemplos indican probablemente, la mayor problemática para diseñar un ranking nacional o internacional.
A pesar de los comentarios críticos a los rankings, éstos tienen una función en la comparación de un sistema con otro o una institución con otra. Pero en el discurso mediático se olvida muchas veces que los rankings: a) deben ser sólo uno de varios métodos de asesoramiento, b) se basan en el principio de competición entre sistemas o instituciones, que se confunde muchas veces con la filosofía de mercado económico; c) se basan en la reducción de la complejidad de la realidad social universidad y por lo tanto muestran solamente una visión reducida de las universidades; y d) están limitados por la disponibilidad de datos homogéneos o por los costes de obtener nuevos datos. Dentro de estas limitaciones y con base en una presentación desagregada de los resultados obtenidos en el proceso de la evaluación, podrían ser un instrumento válido para promover verdaderos procesos de mejora. Pero para cumplir con este objetivo, se deben mejorar los indicadores de calidad académica en sus diferentes vertientes e introducir una tipología (más adecuada) de las universidades.
Notas
