Cuando el periodista alemán Martin Bernklau escribió su nombre y ubicación en el Copilot de Microsoft para ver cómo el chatbot recogería sus artículos, las respuestaslo horrorizó.

Los resultados de Copilot habían afirmado que Bernklau era un fugitivo de una institución psiquiátrica, un abusador de niños convicto y un estafador que se aprovechaba de los viudos.Durante años, Bernklau había trabajado como taquígrafo judicial y el chatbot de inteligencia artificial (IA) habíalo culpó falsamentepor los crímenes que había encubierto.

Las acusaciones contra Bernklau no son ciertas, por supuesto, y son ejemplos de IA generativa "alucinaciones." Estas son respuestas inexactas o sin sentido a un mensaje proporcionado por el usuario y sonalarmantemente comúncon esta tecnología.Cualquiera que intente utilizar la IA debe proceder siempre con gran cautela, porque la información de dichos sistemas necesita validación y verificación por parte de humanos antes de que se pueda confiar en ella.

Pero ¿por qué Copilot alucinó con estas terribles y falsas acusaciones?

Copilot y otros sistemas de IA generativa como ChatGPT y Google Gemini songrandes modelos de lenguaje(LLM).El sistema de procesamiento de información subyacente en los LLM se conoce como "red neuronal de aprendizaje profundo", que utiliza una gran cantidad de lenguaje humano para "entrenar" su algoritmo.

A partir de los datos de entrenamiento, el algoritmo aprende la relación estadística entre diferentes palabras y la probabilidad de que ciertas palabras aparezcan juntas en un texto.Esto permite al LLM predecir la respuesta más probable basándose en las probabilidades calculadas.Los LLM no poseen conocimientos reales.

Los datos utilizados para capacitar a Copilot y otros LLM son enormes.Si bien los detalles exactos del tamaño y la composición de los corpus Copilot o ChatGPT no se divulgan públicamente, Copilot incorpora todo el corpus ChatGPT más los artículos adicionales específicos de Microsoft.Se sabe que los predecesores de ChatGPT4âChatGPT3 y 3.5â utilizaron "cientos de miles de millones de palabras."

Copilot se basa en ChatGPT4, que utiliza un corpus "más grande" que ChatGPT3 o 3.5.Si bien no sabemos cuántas palabras son exactamente, los saltos entre diferentes versiones de ChatGPT tienden a ser órdenes de magnitud mayores.También sabemos que el corpus incluye libros, revistas académicas yartículos de noticias.Y aquí radica la razón por la que Copilot alucinó que Bernklau era responsable de crímenes atroces.

Bernklau había informado periódicamente sobre procesos penales por abuso, violencia y fraude, que se publicaban en periódicos nacionales e internacionales.Es de suponer que sus artículos deben haber sido incluidos en el corpus lingüístico que utiliza palabras específicas relacionadas con la naturaleza de los casos.

Dado que Bernklau pasó años informando ante los tribunales, cuando a Copilot le preguntan por él, las palabras más probables asociadas con su nombre se relacionan con los crímenes que ha cubierto como reportero.Este no es el único caso de este tipo y probablemente veremos más en los próximos años.

En 2023, el locutor de radio estadounidense Mark Waltersdemandó con éxito a OpenAI, la empresa propietaria de ChatGPT.Walters presenta un programa llamado Armed American Radio, que explora y promueve los derechos de propiedad de armas en Estados Unidos.

El LLM había alucinado que Walters había sido demandado por la Fundación de la Segunda Enmienda (SAF), una organización estadounidense que apoya el derecho a portar armas, por defraudación y malversación de fondos.Esto fue después de que un periodista preguntara a ChatGPT sobre un caso legal real y en curso relacionado con las SAF y el fiscal general del estado de Washington.

Walters nunca había trabajado para SAF y no estuvo involucrado de ninguna manera en el caso entre SAF y el estado de Washington.Pero debido a que la fundación tiene objetivos similares a los del programa de Walters, se puede deducir que el contenido del texto en el corpus lingüístico creó una correlación estadística entre Walters y el SAF que causó la alucinación.

Correcciones

Corregir estos problemas en todo el corpus lingüístico es casi imposible.Sería necesario examinar cada artículo, oración y palabra incluida en el corpus para identificar y eliminar el lenguaje sesgado.Dada la escala del conjunto de datos, esto no es práctico.

Las alucinaciones que asocian falsamente a las personas con crímenes, como en el caso de Bernklau, son aún más difíciles de detectar y abordar.Para solucionar el problema de forma permanente, Copilot necesitaría eliminar el nombre de Bernklau como autor de los artículos para romper la conexión.

Para solucionar el problema, Microsoft ha diseñado una respuesta automática que se da cuando un usuario pregunta a Copilot sobre el caso de Bernklau.La respuesta detalla la alucinación y aclara que Bernklau no es culpable de ninguna de las acusaciones.Microsoft ha dicho que incorpora continuamente los comentarios de los usuarios e implementa actualizaciones para mejorar sus respuestas y brindar una experiencia positiva.

Probablemente haya muchos más ejemplos similares que aún están por descubrir.Resulta poco práctico intentar abordar cada uno de los problemas aislados.Las alucinaciones son un subproducto inevitable de cómo funciona el algoritmo LLM subyacente.

Como usuarios de estos sistemas, la única manera de saber si los resultados son confiables es interrogarlos sobre su validez utilizando algunos métodos establecidos.Esto podría incluir encontrar tres fuentes independientes que estén de acuerdo con las afirmaciones hechas por el LLM antes de aceptar el resultado como correcto, comomi propia investigaciónha demostrado.

Para las empresas propietarias de estas herramientas, como Microsoft u OpenAI, no existe una estrategia proactiva real que pueda adoptar para evitar estos problemas.Lo único que realmente pueden hacer es reaccionar ante el descubrimiento de alucinaciones similares.

Este artículo se republica desdeLa conversaciónbajo una licencia Creative Commons.Lea elartículo original.