Una novela super exitosa en ventas fue retirada de un premio literario después de que un detector la marcara como escrita por una máquina. Su editorial terminó confirmando el uso de IA, pero el caso dejó en pie las preguntas de fondo. Cómo se detecta un texto artificial, qué tan confiable es y cómo se lo puede camuflar.

El detector dio positivo. En septiembre, la Academia Goncourt retiró del certamen la novela C’était ça ou mourir, del escritor haitiano-canadiense Thélyson Orélien, después de que análisis con el detector Pangram señalaran una probabilidad del 100 % de que tuviera texto generado por computadora. El autor lo negó varias veces. El 21 de octubre, su editorial canadiense, Boréal, confirmó que se había usado IA, tras un análisis externo de todas las versiones de trabajo del libro que halló rastros de etiquetas de inteligencia artificial en los metadatos de algunos documentos. La historia tiene capítulos propios, pero deja una duda para cualquiera que escriba, corrija o lea. ¿Se puede saber si un texto lo escribió una máquina?

Palabra por palabra

Para entender cómo se la detecta, primero hay que ver cómo escribe. Una IA genera el texto token por token, y un token puede ser una palabra completa, un trozo de palabra, un signo de puntuación, un número o un espacio. El procedimiento es sencillo. Lee lo ya escrito, calcula una lista de posibles palabras siguientes con la probabilidad de cada una, hace un sorteo, agrega la ganadora y vuelve a empezar.

Esas probabilidades se relacionan con la frecuencia con que aparecen las palabras en los textos con los que se entrenó el sistema. Es un sorteo, pero con dados cargados a favor de lo más común. Además, la IA está optimizada para conversar y resolver dudas de forma clara y didáctica, así que, si no se le pide otra cosa, escribe en un tono neutro y expositivo. Todo eso deja huellas sutiles.

Tres maneras de buscar huellas

La primera es la estilometría, que mide rasgos de estilo y los compara con los de textos generados por IA. El vocabulario se inclina hacia los términos comunes y no hacia los rebuscados. Aparecen palabras de relleno («realmente», «simplemente») y de énfasis («notable», «fundamental»), fórmulas como «por lo tanto», «en resumen», «con el objetivo de» o «no solo… sino también», y la costumbre de cerrar los argumentos con una frase que resume.

La segunda es la perplejidad, que mide cuán sorprendente le resulta una secuencia de texto a una IA generadora de lenguaje. Se usa un detector con probabilidades similares a las de los sistemas que escriben, que recorre el texto y mide qué tan inesperado es cada tramo. En los textos de una IA, la perplejidad tiende a ser uniforme, mientras que en los humanos varía mucho, porque somos más impredecibles de lo que creemos. Funciona mejor con textos largos, donde el contexto reduce la incertidumbre.

La tercera consiste en combatir el fuego con fuego, pidiéndole a una IA que juzgue si un texto lo escribió otra. Con modelos comerciales generales, como ChatGPT, los resultados no son buenos. Lo que mejor funciona es entrenar un modelo específicamente para detectar, como Pangram, un detector comercial que aprende a distinguir textos humanos de sus réplicas artificiales y se reentrena poniendo el foco en los falsos positivos, es decir, los textos humanos que marca como artificiales.

Las maniobras de camuflaje

Como la detección se basa en acumular indicios, el camuflaje intenta borrarlos. La maniobra más simple es pedirle a la propia IA que escriba de otra forma, con un rol («escribe como un estudiante de secundaria»), sin palabras de una lista negra o con frases de longitudes variadas. También se puede retocar el texto ya generado, inyectando frases propias, cambiando palabras que uno no usaría o reescribiendo fragmentos. Los más perezosos le piden a la IA que lo parafrasee, y los estudios recientes muestran que, tras sucesivos parafraseos, los detectores pierden eficacia de forma sensible. Otra vía más creativa es pasar el texto por un traductor automático a otro idioma y volver a la lengua original.

El ojo humano

¿Y las personas? Según un estudio citado por el autor, somos nefastas y excelentes a la vez, porque depende de la familiaridad con la forma de escribir de la IA. Quienes no la tienen fallan mucho y confían demasiado en su veredicto. Los expertos, en cambio, son muy difíciles de engañar, y si se suma el veredicto de varios, el resultado es excelente, solo igualado por el detector comercial Pangram.

Un puntaje no es una prueba

Conviene recordar un límite. Ningún sistema es infalible, y siempre queda un margen de duda. Herramientas como Pangram no encuentran una firma secreta de ChatGPT ni una marca de agua escondida entre las palabras. Son clasificadores entrenados con textos humanos y artificiales que buscan patrones de estilo, sintaxis, léxico, estructura o previsibilidad. Por eso un puntaje alto es un indicio, y la confirmación en este caso llegó por otro camino, la revisión de las versiones de trabajo y de los metadatos.