Nota: CBM en Moodle se basa en las estrategias desarrolladas por el Prof. Gardner-Medwin en UCL (London, UK). Más documentación se puede encontrar aquí.

¿Qué es la puntuación basada en certeza QBC (CBM)?

• Después de cada respuesta, debe indicar la seguridad que tiene que su respuesta es correcta.
• Se trata de una escala de 3 puntos: C = 1 (baja), C = 2 (media) o C = 3 (alta)
• No utilizamos palabras como "seguro" o "muy seguro" porque esto significa cosas diferentes para personas distintas.
• El esquema de puntuación y el riesgo de penalización determinará cuándo debe utilizar cada nivel de C:

• Los niveles de certeza 1, 2, 3 siempre dan puntuación 1, 2 o 3 si la respuesta es correcta.
• Si la respuesta es incorrecta, salvo que haya optado por C = 1, le restará puntuación: -2 a C=2 y -6 a C=3

¿Por qué utilizar CBM?

• Hacer reflexionar a los estudiantes sobre la fiabilidad de su respuesta.
• Para animar a los estudiantes a intentar comprender los problemas, no sólo reaccionar a una pregunta.
• Agregar un desafío: Si un estudiante no se arriesga a ser penalizado a la puntuación, no sabe realmente la respuesta.
• Si un estudiante es cuidadoso con su razonamiento, pero no está muy seguro de sí mismo, va a ganar confianza.
• Es más justo: una respuesta correcta reflexiva y segura merece mayor puntuación que un acierto afortunado.
• Los estudiantes necesitan prestar más atención si responden mal con seguridad: ¡pensar, reflexionar, aprender!
• Un estudio eficiente requiere cuestionarse constantemente cómo surgen nuestras ideas y su fiabilidad.

Cómo decidir el mejor nivel de certeza

• Si estás seguro, obviamente la mejor opción es C=3. ¡Pero perderás el doble (-6) si estás equivocado!
• Si no estás seguro, debes evitar cualquier riesgo de penalización escogiendo C=1
• En medio, lo mejor es utilizar C=2: ganas 2 o pierdes 2 dependiendo de si tienes razón.

• El gráfico muestra cómo la nota media de cada nivel C depende de la probabilidad de que tu respuesta sea correcta.
  • Supongamos que creéis que sólo tenéis un 50% de probabilidad de acertar: el valor más alto para el 50% del eje inferior es negro (para C=1). De esta forma deberíais obtener los mejores resultados de media seleccionando una certeza baja (C=1).
  • Si crees que puedes justificar bien tu respuesta, con más de un 80% de posibilidades de que sea correcta, entonces el gráfico rojo es mayor, por C=3. Toma esta opción
• Tened en cuenta que nunca podéis esperar ganar mediante la representación errónea de vuestra certeza. Si hacéis clic en C=3 (la línea roja) cuando no estáís seguro, esperaréis hacerlo mal, muy probablemente con puntuación negativa. Podríais tener suerte; pero, en promedio, perderéis! Si entendéis bien la pregunta y pensáis que vuestra respuesta es fiable, perderéis si optáis por C=1 o C=2 en lugar de C=3. Lo haréis mejor si podéis distinguir de qué respuestas estáis seguro y de cuáles no tanto.

Retroacción sobre tu rendimiento CBM

• Si utilizáis CBM con retroacción después de cada respuesta, entonces vuestra puntuación os da mucha información: -6 hará que os preguntéis vuestra seguridad sobre una respuesta incorrecta. Pnsad (junto con cualquier explicación disponible y vuestros libros o notas) cómo ligar diferentes partes de vuestro conocimiento.
• Si acertáis repetidamente preguntas con C=1, preguntaos si podéis conocer mejor el tema de lo que créeis. Preguntaos cómo podéis relacionar vuestras respuestas con cosas que definitivamente conocéis y tengáis más confianza.
• Cuando finalmente enviéis las respuestas, veréis los porcentajes correctos para cada nivel C que habéis utilizado. Lo ideal sería que estuvieran alrededor de 50%,70%,90% por C=1,2,3 si conocéis bien el tema (muchas respuestas a C = 3) o sino lo conocéis bien (lmuchas a C = 1) . La retroacción os avisará si tendéis a sobreestimar o subestimar la fiabilidad de vuestras respuestas. Si el resultado es un exceso de confianza pensad por qué! Quizás no hayáis tenido cuidado, quizá tengáis ideas erróneas o estéis dando respuestas seguras a preguntas que realmente no entendéis o que están formuladas ambiguamente. Utilizad esto para reconducir vuestro estudio y mejorar vuestra interacción con los profesores.
• Tened en cuenta que algunas preguntas de un cuestionario pueden tener más peso que otras, por lo que, por ejemplo, podríais obtener -12 si la pregunta tiene doble peso y cometéis un error de confianza. Como esto hace más difícil interpretar la retroacción probablemente no es buena idea que los cuestionarios varíen los pesos de las preguntas cuando se utiliza CBM.
• Si sólo se han respondido algunas preguntas, la retroacción CBM puede tener poco significado: ¡2 oro 3 respuestas correctas con poca certeza pueden ser una cuestión de suerte! Lo importante es que penséis en por qué estáis o no seguros, y aprended de ello.

Calificaciones y puntuaciones con CBM

Media y precisión de CBM

• La Media CBM puede oscilar entre 3 y -6. Si todas las preguntas del cuestionario tienen el mismo peso, entonces es simplemente la nota media CBM, como se muestra en la tabla CBM anterior. Cuando los pesos (w) varían, entonces la puntuación CBM (m) otorgada a cada pregunta es Media CBM = Σ(wm)/Σ(w).
• La Precisión es una medida convencional de cuánto ha logrado en el cuestionario, ignorando las calificaciones CBM. Si todas las preguntas tienen un peso igual, es el porcentaje de respuestas correctas (quizás algunas respuestas se contabilizan como parcialmente correctas). Si las preguntas tienen distintos pesos w, y las respuestas tienen una corrección fraccional f (entre 0 y 1) entonces Precisión = Σ(wf)/Σ(w).
• Respuestas parcialmente correctas. Si las respuestas de Moodle son parcialmente correctas (asignada una fracción f mayor que cero), entonces por C=1, 2 o 3 la nota otorgada será f, 2f o 3f. Si f es negativo (lo que implica que cualquier porción correcta de una respuesta se ve superada por errores) entonces la nota otorgada será la misma que para una respuesta errónea (0, -2 o -6).

¿Qué te dicen la puntuación y precisión media CBM?

El gráfico* muestra las puntuaciones (Precisión y CBM media) para varios miles de envíos online de diferentes pruebas voluntarias CBM, principalmente con estudiantes universitarios. Se han añadido anotaciones con interpretaciones de los distintos tipos de comportamiento de los estudiantes en diferentes zonas del gráfico.

* Este gráfico se utiliza en CBM Self-Tests (actualmente no se encuentra en Moodle) para presentar la puntuación de un estudiante después del envío.

• Recordad que la media CBM es siempre menor, como un porcentaje del máximo, que la precisión. Para el resultado de la yellow, el CBM average (1.5) era el 50% de la máxima, cuando la acumulación (que ignora C ratings) era el 80%. Y para la puntuación mostrada en amarillo, la media CBM (1,5) fue del 50% del máximo, mientras que la precisión (que ignora las calificaciones C) fue del 80%. Evidentemente, no debe preocuparos que vuestra media CBM sea menor, expresada de esta manera, que vuestra puntuación convencional. ¡Siempre lo es!
• Si no discrimináis en absoluto entre respuestas fiables e inciertas (dando a todas la misma C, adecuada para el conocimiento que tiene de los temas), entonces vuestras puntuaciones se encuentran en algún lugar de la línea verde del gráfico.
• Si vuestra puntación se encuentra por encima de la línea verde, entonces estáis distinguiendo correctamente las respuestas fiables de las inciertas. Si vuestra puntuación se encuentra por debajo, entonces no tenéis claro los temas, o no los has entendido o por el contrario tenéis unas ideas erróneas completamente (¡lo que crees con total seguridad, pero que no lo son tanto!).

CBM Bonus, CB Precisión y Grados CB

Es conveniente expresar el éxito de un estudiante distinguiendo conocimientos fiables e inciertos en términos de un Bonus CBM que puede añadirse (o restar) a su precisión convencional, expresando el porcentaje correcto en sus respuestas. El Bonus CBM se determina por la cantidad de la media CBM que se encuentra por encima o por debajo de la línea verde del gráfico anterior. Un bonus negativo** significa que el estudiante ha discriminado mal o no juzgado correctamente la fiabilidad de sus respuestas. Por ejemplo, en la puntuación amarilla la media CBM es de 0,3 puntos por encima de la línea, que se multiplica por un factor estándar β (=10%)* para dar CB bonus = +3%. Cuando se añade a la precisión Accuracy (= 80%) esto da CB Accuracy = 83%. La Calificación CB es simplemente la precisión CB multiplicada por el valor de calificación asignada en el cuestionario. El uso de la precisión CB hace que sea fácil para los estudiantes y examinadores comparar las calificaciones convencionales y las CB, mientras que la diferencia (CB Bonus) es una indicación de la conciencia crítica del estudiante, de qué partes de su conocimiento son o no fiables.

* El factor β=10% utilizado para calcular CB Bonus es escogido de forma óptima para maximizar la fiabilidad estadística de la puntuación total resultante (Precisión + Bonus): tiene la habilidad de predecir con precisión el rendimiento de las pruebas relacionadas. Ref: Gardner-Medwin, 2013

** Si tenéis in bonus negativo, pensad lo bueno que podría llegar a ser el mundo si los banqueros pudieran tener un bonus negativo. Un bonus CBM negativo señala lo que Confucio describió como una incapacidad "cuando no sabes algo, aceptar que no lo sabes" y por Donald Rumsfeld, de forma más concisa, como "desconocimientos, desconocidos". Ambos son conocimientos esencialmente negativos, peor que la ignorancia reconocida.

Datos CBM en exámenes

Cuando los estudiantes realizan exámenes, muchas de sus ideas erróneas (errores de confianza que llevan a puntuaciones negativas) desaparecerán, y los estudiantes podrán juzgar mejor las áreas que dominan y las que no. Esto significa que los Bonus CB tienden a ser positivos. La precisión CB permite a los examinadores realizar una comparación directa entre los criterios CB estándar y los criterios convencionales estándares.

Ejemplo de datos CBM de un examen médico de la UCL utilizando preguntas verdadero/falso.

Puntuaciones relativas sólo a una parte de un cuestionario

CBM es especialmente valioso para autopruebas, donde los estudiantes se desafían a sí mismos como parte de su estudio. Puede no responderse porque las preguntas no son sobre un tema de interés, son demasiado fáciles, o quizás todavía no se han estudiado. La puntuación CBM se puede presentar en relación con el conjunto de preguntas a las que el estudiante ha elegido responder. Todo correcto sobre la mitad de un cuestionario mostraría una precisión de un 100%. Corresponde al estudiante interpretar estas puntuaciones: obviamente si se omiten preguntas porque son difíciles, entonces la puntuación relativa puede sobreestimar la competencia en la asignatura. Las calificaciones de Moodle siempre son relativas a todo el cuestionario, y ésta es la presentación por defecto para otras puntuaciones.

Calificaciones de Moodle con CBM

La calificación de Moodle es el total de las calificaciones otorgadas, escaladas respecto a un valor nominal de todo el cuestionario. En ocasiones, las calificaciones se muestran fuera de este valor, pero hay que tener en cuenta que con CBM la calificación puede ser hasta 3 veces mayor (si todas las respuestas son correctas en C=3). Esta forma de calificar no es sencilla comparada con las calificaciones convencionales. La calificación con CBM (véase más arriba) es la recomendada, pero hasta que las calificaciones de Moodle sean calculan de esta forma, el profesorado debería utilizar los datos mostrados en Cuestionario-->Resultados--> calificaciones CBM o intento- -> revisiones por una valoración más precisa del trabajo del estudiante. Tened en cuenta que a menos que se establezcan las “calificaciones ilimitadas” (ver más abajo) las calificaciones de Moodle a menudo se mostrarán de forma incorrecta en el libro de calificaciones.

Acciones ADMIN esenciales por CBM

Plugin esencial para la visualización, por parte del staff, de los datos en Moodle 2.6+

Moodle 2.6 y versiones posteriores requieren de la instalación de un Quiz Report Plugin para visualizar los datos CBM en el informe CBM del calificador. Las versiones anteriores de Moodle (<2.6) pueden utilizar downloadable code modifications en su lugar, que mostrará los datos CBM en los informes de Moodle.

Configuración de "Calificaciones sin límites'

'Calificaciones ilimitadas' debe establecerse 'on', bajo Administración del sitio -> Calificaciones -> Configuración general de forma que las calificaciones no se limitan al 100%. Actualmente Moodle calcula estas entradas del libro de calificaciones en función de las primeras (hasta el 300% de las notas que se pueden obtener sin CBM). Sin esta configuración, la mayoría de las calificaciones de los estudiantes pueden mostrarse como 100% debido a la imposición del límite. Si el código de Moodle se cambió para mostrar las calificaciones como el grado CB (diseñado para compararlo correctamente con las calificaciones convencionales) esta configuración de administración ya no es necesaria

Más información: Certainty-Based Marking.