Qüestions. Un cuestionario autoevaluativo de Mecánica Clásica

Joan Parellada

Departament de Estructura i Constituents de la Matèria
Facultat de Física. Universitat de Barcelona

Resumen
Aunque siempre bajo discusión, los cuestionarios forman una metodología para medir el grado de conocimiento de una materia. En este sentido, en los exámenes de las asignaturas Mecánica i Física I, titulaciones de Química y Ingeniería Química respectivamente, que se imparten en el primer semestre de los estudios, se emplea un test tipo "true-false". El cuestionario complementa otra prueba consistente en la resolución de problemas y viene a sustituir al tradicional apartado del examen de teoría.
Desde hace unos diez años existe la costumbre de que esta parte del examen conste de diez preguntas, cada una de ellas con tres frases que el estudiante ha de completar con una V o una F según ésta sea verdadera o falsa; evidentemente existe la posibilidad de no responderla. Normalmente la calificación se efectúa asignado un punto positivo a las preguntas correctamente comentadas y un punto negativo a las equivocadas; la nota total se obtiene sumando los puntos y multiplicando por un factor que transforma una puntuación de alrededor de 25 a 27 a la máxima nota posible; de esta manera se compensan algo las puntuaciones negativas. En el otro extremo, todos los resultados negativos se convierten en cero.
El primer comentario que debemos efectuar a este sistema de evaluación es la queja de los estudiantes ante su formato; normalmente durante toda la enseñanza previa han sido evaluados mediante preguntas que pueden contestar libremente, con mayor o menor extensión, pero siempre permitiéndoles expresar en sus propias palabras la respuesta a las preguntas; los estudiantes no están habituados a la concisión y mucho menos a una lectura, que ha de ser muy cuidadosa, de unas frases, ya que pequeños matices de comprensión pueden variar la respuesta.
Si bien es cierto que los cuestionarios están muy cuestionados como herramienta de evaluación, ¿la facilidad de corrección compensa la pérdida de matices en las respuestas?, nadie parece dudar que sean una buena herramienta de autoevaluación, el propio estudiante puede decidir fácilmente mediante un test si tiene un nivel suficiente de comprensión de la materia o bien necesita profundizar en su estudio.

Con los dos objetivos que se insinúan en los párrafos anteriores, se ha informatizado prácticamente todo el histórico de preguntas que han aparecido en los exámenes de las asignaturas antes mencionadas y se ha construido un par de programas de presentación vía web.
Para clasificar las preguntas se ha utilizado un esquema XML "adhoc" que puede verse adjunto. Las etiquetas deberían ser autoexplicativas y en este ejemplo no aparecen todas las que se emplean.
Se ha utilizado tecnología XML para describir las cuestiones y así facilitar su reutilización, los archivos XML que constituyen cada una de las preguntas tienen toda la información sobre la misma, pero no implican ningún tipo de presentación. Se ha definido un conjunto de etiquetas que permiten describir todos los casos encontrados hasta el momento y se ha construido el esquema correspondiente para validar los archivos de preguntas. El tratamiento de las fórmulas matemáticas y la representación de los caracteres vectoriales se efectúa mediante archivos gif asociados, esto obliga a que la presentación deba hacerse fijando un tipo y tamaño de font compatible con los gráficos.
En un futuro inmediato nos hemos propuesto redefinir el conjunto de etiquetas para cumplir las especificaciones IMS QTI V2.0(1). La presentación de las cuestiones vía web es compleja y conviene aprovechar toda la potencia del HTML; la versión 1.* de IMS QTI no incluye muchas etiquetas HTML que son imprescindibles en nuestro caso, por ejemplo <sup> y <sub>, y aunque podría haberse buscado vías alternativas para incluirlas, posiblemente no serian reconocidas en todos los programas de presentación. La versión 2.0 de IMS QTI usará las especificaciones de modularización de XHTML 1.0-SE, aceptando el módulo texto de XHTML en toda su amplitud. De esta manera el conjunto de preguntas podrá reutilizarse en cualquier visualizador, o más general, en cualquier programa de campus virtual, que cumpla estas especificaciones.

Para poder visualizar las preguntas se ha escrito un programa en PHP que consta de tres módulos principales, el primero lee la colección de preguntas de un tema dado y las organiza de forma aleatoria; el siguiente módulo presenta la pregunta al estudiante y mediante una forma éste puede escoger la respuesta. El último módulo compara la respuesta dada con la correcta, informa al estudiante en verde o rojo sobre la exactitud de su respuesta, el tiempo empleado en darla y el acumulativo. A partir de seis respuestas, el programa también le informa de la nota que habría obtenido hasta el momento.
La lectura del archivo XML se efectúa mediante las subrutinas SAX directamente incorporadas en PHP desde la versión 4.0. En SAX el archivo XML se lee de forma secuencial y las subrutinas llaman a tres funciones diferentes, una que se ejecuta cuando encuentra la etiqueta de entrada, otra para leer los datos y la última que se llama al encontrar la etiqueta de cierre. El nombre de la etiqueta y sus atributos los entrega SAX al programa y mediante un bloque switch se van efectuando las diversas acciones que corresponden a cada etiqueta.
Como un ejemplo de reutilización de los archivos de cuestiones, podemos añadir que este programa es una versión simplificada de otros módulos PHP y MySQL que permiten un análisis mucho más profundo de las preguntas y de las respuestas de los estudiantes. De entrada, los estudiantes están identificados y se guarda para cada uno el histórico de preguntas y respuestas. También en este caso el cuestionario es un "true-false" basado en nivel de confianza(2). En este tipo de tests la respuesta es doble, además de decir si es la aseveración es correcta o falsa, el estudiante también ha de indicar con que grado de seguridad está dando su respuesta. Se trabaja con cuatro niveles de confianza: bajo (poco seguro), medio (bastante seguro), alto (muy seguro) y absolutamente seguro que se complementan con la no respuesta.
Para favorecer la autoevaluación se ofrece una cuantificación numérica de los resultados. En el esquema de puntuación sugerido, se asigna un cero para el caso sin respuesta, los valores 1, 2, 3 y 4 para respuestas acertadas con niveles de confianza cada vez más altos y los valores 0, -2, -6 y -8 para respuestas erróneas y distintas seguridades. Como se puede ver el sistema enfatiza los resultados de alto nivel de confianza penalizando fuertemente las respuestas equivocadas.
A parte de este análisis numérico que podemos asociar al grado de conocimiento de cada estudiante, se pueden efectuar otros muchos análisis; por ejemplo la tipología de las preguntas, fáciles serian aquellas que la mayoría contestan correctamente con un alto nivel de confianza y en poco tiempo, complejas serian aquellas que independientemente de si la respuesta es correcta o no se responden después de una larga reflexión y con niveles de confianza bajo, tramposas corresponderían a preguntas con un gran número de respuestas equivocadas pero nivel de confianza elevado (aunque en este caso también seria posible una explicación errónea por el profesor), y muchas otras calificaciones.
El sistema efectúa un pequeño análisis de la personalidad del estudiante para distinguir entre los más reflexivos de los más impulsivos, que es una característica distinta a la seguridad innata de la persona. La primera característica de la personalidad ha de notarse en los tiempos de respuesta, mientras que la segunda afectará a los niveles de confianza. También puede analizarse la adaptación del estudiante a la tipología del cuestionario; como éste está ordenado por temas y se van respondiendo a lo largo del curso, en los últimos temas se observa una mayor prudencia en ciertas preguntas para no ser muy penalizado en caso de que la respuesta fuese errónea.
Este cuestionario estuvo parcialmente disponible para los más de 400 alumnos de las asignaturas afectadas el primer semestre del curso 2003-2004 y completamente disponible para los 90 alumnos del segundo semestre, todos repetidores. El número de respuestas fue muy bajo, alrededor de un 5% efectuaron todas las tareas y nunca según el calendario previsto. La impresión, confirmada con alguna conversación particular, es que añadido a la complejidad inherente del método también se creó una sensación de manipulación porqué aprovechando la necesidad de estudio de los alumnos se efectuaba una función que para ellos no tenia ningún interés; por este motivo se ha cambiado el programa este semestre pasado.

(1) IMS Question and Test Interoperatibility: Item Overview version 2.0 Public Draft, June 2004 http://www.imsglobal.org/question/qti_item_v2p0pd/index.html
(2) Formative and Summative Confidence-Based Assessment A.R. Gardner-Medwin & M. Gahan Proc. 7th International Computer-Aided Assessment Conference, Loughborough, UK, July 2003, pp. 147-155

Trabajo financiado por Generalitat de Catalunya Programa MQD 2002 y por Universitat de Barcelona PID 2002