GOLEM XIV: Aprenentatge guiat mitjançant models de llenguatge massius.
La finalitat del projecte és fer servir les noves tecnologies d’intel·ligència artificial basades en models de llenguatge massius, del anglès large language models (LLMs), per guiar a l’alumnat en el seu procés d’aprenentatge, i també per proporcionar ajuda als docents durant l’avaluació de les activitats que els alumnes desenvolupen.
La proposta, anomenada GOLEM XIV (un golem és una criatura mítica que s’assembla molt al concepte modern de robot, GOLEM XIV és el títol d’una novel·la de ciència ficció sobre una intel·ligència artificial amb el mateix nom), s’aplicaria dins d’assignatures de programació del primer curs del grau d’enginyeria informàtica. L’alumnat podria fer servir l’aplicació, desenvolupada amb tecnologies d’intel·ligència artificial basades en LLMs, per rebre retroalimentació sobre problemes d’implementació de codi. Habitualment, quan els alumnes troben dificultats amb la resolució d’aquest tipus de problemes durant el seu treball autònom, han de contactar al professorat per correu electrònic. Aquest procés es pot demorar en el temps i fer l’aprenentatge menys eficaç. L’ús de LLMs en aquest context ens permetria apropar-nos virtualment a l’objectiu d’aconseguir una ràtio d’un professor per cada alumne, atès que un LLM avançat, com pot ser actualment ChatGPT, és potencialment capaç de trobar els errors que s’han comés a un codi i proporcionar una explicació que li permeti a l’alumne fer les correccions necessàries.
Addicionalment, si aconseguim crear un sistema basat en LLMs que funcioni satisfactòriament per localitzar i proporcionar explicacions sobre els possibles errors que presenta un codi entregat per un alumne, aquest sistema també podria ser aprofitat pels docents per facilitar la tasca de corregir exercicis avaluables durant el curs. La correcció d’exercicis d’implementació constitueix una tasca molt intensiva en temps per als docents i no hi ha cap iniciativa en marxa per tractar de fer-la més senzilla, raó per la qual pensem que qualsevol progrés en aquesta direcció podria tenir un gran valor per a la comunitat universitària. L’avaluació típicament no només consisteix en proporcionar una qualificació numèrica per a cada lliurament, sinò en proveir comentaris de retroalimentació. En aquest projecte, el LLM es faria servir per proporcionar una avaluació preliminar de cadascun dels lliuraments de l’alumnat. Si aquesta avaluació fos correcta, el professor la faria servir per proporcionar la qualificació numèrica del lliurament i també per proporcionar comentaris de retroalimentació. Si l’avaluació del LLM no fos completament correcta, el professor podria fer-la servir com a base per obtenir la qualificació i els comentaris de retroalimentació finals.
L’objectiu d’aquest projecte és posar en marxa una iniciativa que ens permeti, en un context de docència universitària, avançar cap a una ràtio d’un professor per cada alumne. Per assolir aquest objectiu, farem servir tecnologies basades en intel·ligència artificial, i més específicament, models de llenguatge massius o LLMs, segons les seves sigles en anglès (Large Language Models). Els LLMs han demostrat una gran capacitat per dur a terme tasques relacionades amb la intel·ligència humana (podem pensar aquí per exemple en ChatGPT), i tenen un potencial enorme per millorar la qualitat de la docència.
Una manera de fer servir els LLMs per apropar-se a una ràtio d’un professor per cada alumne és prendre un LLM pre-existent i personalitzar-ho per desenvolupar tasques docents d’una assignatura particular. D’aquesta manera, el LLM podria resoldre dubtes de l’alumnat de manera instantània, les 24 hores del dia, 7 dies per setmana. Una característica fonamental del LLM a utilitzar és que hauria de guiar a l’alumne cap a la solució d’un problema enlloc de proporcionar-li directament la solució. Per aconseguir aquest propòsit, resulta fonamental personalitzar el LLM pre-existent (pre-entrenat), atès que eines com ChatGPT poden ser utilitzades per resoldre directament els problemes. En canvi, el nostre LLM es podria veure com una manera de canalitzar aquesta nova tecnologia dins de l’aula de manera que es pugui fer servir de la manera que resulti més beneficiosa per l’alumnat.
Un aspecte molt important del funcionament del nostre LLM personalitzat seria la seva integració amb altres materials didàctics oferts dins de l’assignatura. Aquesta integració faria mes senzill i accessible l’ús dels LLMs per part dels alumnes, i com a conseqüència, també fomentaria la utilització d’aquesta tecnologia de la manera en que és millor pel seu aprenentatge.
Després de descriure els objectius generals del projecte, descriurem els seus objectius específics. Aquests objectius es centren en l’assignatura d’Algorísmica, dins del primer curs del grau d’Enginyeria Informàtica de la UB. En aquesta assignatura, com a part fonamental del seu aprenentatge, els alumnes han de resoldre petits exercicis de programació de manera periòdica. Aquests exercicis són entregats i després avaluats pels professors. Els alumnes, durant el seu treball autònom, habitualment es troben amb dificultats en l’escriptura del codi que solen solucionar mitjançant correus electrònics adreçats als professors, o bé esperant a que arribi la següent classe presencial on podran formular aquestes preguntes en persona. En aquest escenari, seria molt interessant que els alumnes tinguessin l’opció de rebre retroalimentació de manera instantània cada vegada que experimentin dificultats en les seves tasques de programació. En particular, i fent ús d’un LLM personalitzat, els alumnes rebrien un informe indicant on serien els errors comesos en el desenvolupament del codi treballat a classe i es proporcionarien pistes sobre com es podrien arreglar. La recepció d’aquests informes es podria integrar dins del material on els estudiants fan els exercicis. En particular, aquest material consisteix en uns documents que combinen text i codi en llenguatge de programació Python anomenats python notebooks.
D’altra banda, aquest sistema de generació d’informes sobre codi basat en LLMs tindria una altra utilitat molt interessant. Específicament, es podria fer servir pels professors de l’assignatura com ajuda durant el procés d’avaluació del codi. L’avaluació de codi és un procés molt costós en temps dins de l’assignatura d’Algorísmica i qualsevol mesura que permetés alleugerir aquesta tasca tindria un impacte molt positiu.
Una vegada introduïdes les característiques més rellevants de l’assignatura d’Algorísmica en relació amb aquest projecte, els objectius específics que proposem serien:
- Implementar un mecanisme que permeti als estudiants obtenir retroalimentació sobre el codi d’un exercici amb el que tinguin dificultats. Aquest mecanisme estarà integrat dins de cadascun dels python notebooks oferts dins de l’assignatura. La funcionalitat implementada analitzarà el codi de l’alumne mitjançant un LLM personalitzat que retornarà un petit informe que enumeri els errors comesos i com es poden solucionar.
- Juntament amb aquest mecanisme, s’oferirà a l’estudiant la possibilitat d’assignar una puntuació que serveixi per avaluar en quina mesura l’informe proporcionat pel LLM ha estat útil (per a més informació, veure apartat d’indicadors d’avaluació).
- D’altra banda, quan el professor hagi d’avaluar una implementació presentada per un alumne dins d’un python notebook, el LLM també es podrà fer servir per facilitar-li el procés de correcció.
- Els professors també podran avaluar la utilitat de l’ajuda proporcionada pel LLM mitjançant un sistema de puntuacions (consultar apartat d’indicadors d’avaluació).
