José Luis González-Geraldo, Universidad de Castilla-La Mancha

“Alucinar” no es un concepto muy exacto cuando se aplica a la inteligencia artificial; puede provocar controversias, tanto por su innecesaria antropomorfización como por su engañosa concreción. Por eso, quizá sería más correcto llamarlas “falsificaciones de información” o simples “confabulaciones”. Sin embargo, esta terminología ha calado para identificar aquellas generaciones de texto que, tras comprobarse, se demuestran erróneas.

Asumiendo una postura ecléctica en la que es más adecuado adoptar las tecnologías que adaptar(se) a ellas, desde el Grupo de aprendizaje en Inteligencia Artificial de la Universidad de Castilla-La Mancha (GaIA), hemos supervisado desde hace años lo que la inteligencia artificial generativa nos ofrece, sobre todo, dentro del ámbito educativo. Y, en especial, en el universitario.

Dentro de este terreno, nos encontramos con el problema de las citadas “alucinaciones” de la IA. Y un claro ejemplo que aterra al profesorado es la invención de fuentes bibliográficas, muy pertinentes y ciertamente bien referenciadas, pero completamente inexistentes.

¿Fraude involuntario?

Vaya por delante que el fraude por alucinación de IA no cae dentro de la categoría de plagio tradicional, sin entrar a debatir que, en efecto, el plagio engloba prácticas más complejas que el rudimentario corta-pega. El punto central de este asunto radica en admitir que la persona que usa la IA y comete fraude por alucinación no solo no es responsable de la autoría del texto generado, sino que ni siquiera ha supervisado y verificado su contenido.

Por desidia o inexperiencia, la IA ha pasado su filtro. Un filtro que, de haber sido constante y competente, no habría tenido problemas para detectar estas “alucinaciones”, pues son fácilmente identificables por un humano atento y experto.

Alucinaciones de segundo orden

Sin embargo, la cosa se complica cuando uno de esos chatbots no se inventa la fuente, sino que la usa de manera inadecuada. Es decir, cuando argumenta que en ella se afirma algo que no es cierto, el problema pasa a mayores. En este caso, las hemos bautizado como “alucinaciones de segundo orden”.

Así, nos encontramos con argumentos verosímiles que se encuentran respaldados por fuentes existentes –clásicas o recientes– perfectamente bien referenciadas. Nada, sobre todo desde el punto de vista estructural, nos hará dudar de ellas, a no ser que seamos verdaderos expertos en el tema en cuestión y, por supuesto, prestemos atención.

Este suceso no solo ha sido constatado en nuestros cursos de formación en IA, sino también experimentado en primera persona. No hace mucho recibí un artículo para revisar sobre IA en educación. Durante la revisión comprobé que la literatura utilizada era existente y relevante. Incluso me agradó encontrar un párrafo donde se citaba uno de nuestros trabajos.

Malos tiempos para revisores

Sin embargo, la alegría se tornó amarga sorpresa cuando señalaban aspectos específicos que no recordaba haber incluido. Confieso que, confuso, revisité nuestro propio artículo para confirmar lo que ya era más que una intuición: en efecto, estaba viviendo en primera persona las consecuencias de una de esas curiosas alucinaciones de segundo orden.

Llegados a ese punto, ¿quién me aseguraba que esto mismo no había pasado con otras referencias utilizadas? Huelga comentar el rechazo que emití en mi condición de revisor, evidentemente por fraude.

La conclusión es meridianamente clara, y también extrapolable: corren malos tiempos para los revisores –lo que incluye profesores, maestros y educadores de cualquier nivel y categoría– que no sean expertos en todas y cada una de las referencias de los artículos o de los trabajos que revisen y evalúen. Malos tiempos, en definitiva, para todas las personas, colectivos e instituciones que nos dedicamos a supervisar procesos académicos y de aprendizaje.

Nada nuevo bajo el sol, pues el fraude académico siempre ha existido, pero quizá nunca ha sido tan fácil y, hasta cierto, punto involuntario cometerlo. En manos de los autores queda hacer un uso responsable, humano y experto, siempre supervisado, de las herramientas que la tecnología –y la IA en especial– ponen a nuestro alcance. Nuestro progreso y nuestra credibilidad están en juego.

José Luis González-Geraldo, Decano de la Facultad de Ciencias de la Educación y Humanidades. Coordinador del Grupo de aprendizaje en Inteligencia Artificial (GaIA). Departamento de Pedagogía. Teoría e Historia de la Educación. UCLM., Universidad de Castilla-La Mancha

Este artículo fue publicado originalmente en The Conversation. Lea el original.