ChatGPT apenas llega al notable en los exámenes de la EBAU

Su resultado, sin embargo, no ha sido nada brillante. La inteligencia artificial tan solo ofrece un contenido suficiente para aprobar las cuatro materias comunes que forman parte de la fase obligatoria –en la que el alumnado puede elegir entre Historia de España o de la Filosofía y examinarse en la optativa de la otra materia– con unas calificaciones que se quedan lejos del sobresaliente. De todas ellas, esta herramienta solo destaca con holgura en la prueba de Lengua Extranjera, que logró superar con una nota próxima al sobresaliente, con un 8,5. Tampoco es de extrañar, porque Inglés constituye su lenguaje natural.

El resto de puntuaciones obtenidas oscilan entre un 6 y un 7,25. Todo debido, en parte, a que ChatGPT comete errores a la hora de proporcionar una opinión contrastada en alguna de las preguntas planteadas en los exámenes, al escribir un comentario personal o al recurrir a los esquemas para redactar las respuestas (cuando uno de los requisitos básicos de la EBAU es que tienen que contestarse de manera detallada). También fracasa de manera estrepitosa a la hora de contextualizar los hechos, ya que no introduce datos ni referencias o explicaciones históricas.

Para su calificación, cuatro profesores de dos institutos de la capital riojana, que en algunos casos también ejercen de correctores en las pruebas de Selectividad, han sido los responsables de examinar el rendimiento y la capacidad de este sistema de inteligencia artificial con los mismos criterios con los que califican las respuestas de los alumnos que se enfrentan a la EBAU riojana

En Historia de la Filosofía, la inteligencia artificial estuvo cerca de conseguir el notable: aprobó el examen con un 6,75. En sus respuestas, nada de lo que comenta es incorrecto, pero peca de superficialidad a la hora de explicar el contexto histórico, cultural y filosófico del autor y hablar de su obra. Falla a la hora de escribir un breve ensayo sobre el texto previo que aparece en el examen.

Aunque su respuesta «tiene cierta coherencia, no hay una tesis clara que se defienda con argumentos sólidos y convincentes. Tampoco hay profundidad ni desarrollo en el comentario. Su texto es correcto, pero está vacío y no tiene un sentido claro», explica Luis Iván Masip de la Rosa, jefe de departamento de esta asignatura en el IES Cosme García. A la hora de desarrollar la teoría moral de Kant, la manera en la que está redactada su respuesta «no demuestra una buena comprensión del tema, porque en lugar de conectar las diferentes cuestiones que deben tratarse en la explicación de esta pregunta, esta se reduce a un conjunto de afirmaciones correctas, pero dispersas y desconectadas».

Solo sobresale al identificar las ideas principales del texto, reconocer la estructura argumentativa, las conclusiones más importantes y al relacionar el fragmento que se plantea en el primer bloque del examen con la teoría general del autor. En esta pregunta, apunta el docente, «sí me parece realmente aventajado con respecto al alumnado medio, porque su resumen es claro y recoge a la perfección las ideas del texto. La única pega que se le podría poner es que la relación de la teoría general es demasiado breve, pero lo compensa por la calidad del resumen que propone».

En la prueba de Lengua Extranjera fue donde más brilló esta herramienta de inteligencia artificial, que logró obtener en este examen una calificación de un 8,5. Una nota que, sin embargo, tampoco resulta de extrañar, ya que este idioma constituye el lenguaje natural de ChatGPT.

A pesar de ello, comete ciertos errores «sin importancia» en el apartado de comprensión lectora que, como apunta el jefe del departamento de Inglés del IES Inventor Cosme García, Rubén Elías, «podría cometer cualquiera». ChatGPT, por ejemplo, se equivoca al contestar una de las cinco preguntas planteadas sobre un texto «cuando es evidente cuál es la respuesta correcta», señala Elías.

Esta herramienta de inteligencia artificial también comete algunos errores gramaticales en los tiempos verbales de las oraciones, pero los compensa con su expresión escrita, que «destaca muchísimo sobre un estudiante medio». Su redacción sobre cuál es su restaurante favorito –uno de los dos temas que podía elegir en el Writing– es «perfecta, propia de un hablante nativo culto con una gran capacidad de expresión escrita», resalta el jefe del departamento.

Las respuestas que ha proporcionado ChatGPT al examen de Lengua Castellana y Literatura dejan mucho que desear. En esta prueba, la inteligencia artificial logra aprobar, pero sin mucha holgura, con tan solo un 6 de puntuación. Todo debido, en parte, a que no se ajusta en su totalidad al contenido que se pide en las preguntas y a que contesta varias de ellas de manera esquemática, cuando uno de los requisitos de las pruebas de acceso a la universidad es que se redacten las respuestas.

Al igual que sucede con el primer bloque del examen, en el que se le pide responder a varias cuestiones sobre un texto, en el apartado de literatura también desarrolla sus respuestas con numeraciones y viñetas, cuando como indica Beatriz Lara, profesora de esta asignatura en el IES Tomás Mingot de Logroño, «se pide que redacten lo máximo posible y que no utilicen epígrafes o puntos propios de un esquema».

Esta herramienta de inteligencia artificial también falla a la hora de proporcionar una opinión «contrastada y bien expresada». En la respuesta que genera ChatGPT sobre el tema que aparece en el texto, «solo aparece al final de la misma un comentario personal, mientras que el resto de la contestación es un juicio y una reafirmación de lo que dice el texto originario y objeto de análisis. Además, no se presenta de forma coherente con el uso de párrafos o expresiones propias del texto argumentativo». Lo mismo sucede cuando procede a resumir el texto: lo describe y emplea palabras «calcadas» cuando podría ser «más personal».

En Historia de España, esta herramienta de inteligencia artificial ha logrado superar el examen de acceso a la universidad con un notable, con un 7,25. A pesar de que ChatGPT responde a cada una de las preguntas planteadas de una manera ordenada y estructurada, sin grandes vacíos, falla en su desarrollo.

Su texto es correcto, pero resulta «demasiado esquemático y lineal, sin conectores en la redacción», asegura Carlos Gil, profesor de Historia del IES Inventor Cosme García. Sus respuestas, además, carecen de cualquier perspectiva o explicación histórica: faltan algunos personajes clave, no incluye datos concretos ni el contexto histórico donde insertar cada periodo.

No confunde conceptos ni mezcla fechas. Por su estructura, tampoco se percibe «desequilibrio entre unas cuestiones y otras ni cansancio a la hora de escribir un examen entero, lo que le ocurre a muchos alumnos», apunta Gil. Por sus respuestas, sin embargo, «se nota que lo escrito no tiene alma. Parece que quien ha redactado estas respuestas no ha ido nunca a clase». Por ello, a ChatGPT «le vendría bien un profesor que le explicara los contextos de cada época y el tema, la perspectiva histórica, los rostros humanos que pueblan la historia y la relación e importancia de ese pasado con el presente que vivimos. Esperemos que ese factor humano siempre sea imprescindible».

Algunos ejemplos de la escasa brillantez demostrada en esta materia son sus respuestas relativas a la Guerra Civil, en las que «no realiza ninguna mención al golpe de Estado o la violencia que generó. No hay ni un solo dato de los asesinados en las retaguardias y los que se ofrecen al final son pobres y desproporcionados. No hay causas ni factores que expliquen esa violencia, apenas se distingue entre ambas retaguardias. Y todo es muy esquemático, sin razonamiento ni explicación», afirma el profesor de Historia.

En el caso de la transición, «parece un proceso prefijado de antemano en el que solo participaron el rey Juan Carlos I y Adolfo Suárez. No hay ni una sola mención a la oposición antifranquista ni a las movilizaciones políticas o sociales. No menciona la Ley de Amnistía, los Pactos de la Moncloa... ni aparecen siglas ni nombres propios de los partidos y movimientos políticos».