Si bien los modelos de lenguajes grandes (LLM) han demostrado capacidades notables para extraer datos y generar respuestas conectadas, existen preguntas reales sobre cómo estos modelos de inteligencia artificial (IA) alcanzan sus respuestas.Está en juego la posibilidad de que se produzcan sesgos no deseados o la generación de "alucinaciones" sin sentido o inexactas, las cuales pueden conducir a datos falsos.

Es por eso que los investigadores de SMU Corey Clark y Steph Buongiorno presentarán un artículo en la próximaConferencia IEEE sobre juegos, programado del 5 al 8 de agosto en Milán, Italia.Compartirán su creación de un marco GAME-KG, que significa "Juegos para aumentar metadatos y mejorar gráficos de conocimiento".El

investigaciónespublicadoen elarXivservidor de preimpresión.A

gráfico de conocimiento(KG) es una representación estructurada de información que captura las relaciones entre entidades de una manera que es fácilmente interpretable tanto por humanos como por máquinas.Organiza los datos en nodos (que representan entidades) y bordes (que representan relaciones entre entidades).Los humanos crean y mantienen gráficos de conocimiento, combinando su experiencia con herramientas y algoritmos automatizados.

El marco desarrollado por Clark y Buongiorno modifica las conexiones explícitas e implícitas en los gráficos de conocimiento, lo que puede mejorar la capacidad de un LLM para proporcionar respuestas precisas.

Si bien los gráficos de conocimiento mejoran las capacidades de razonamiento y el rendimiento de un LLM, su creación puede ser un desafío debido a la complejidad de capturar, organizar e integrar datos de diversas fuentes.El marco GAME-KG utiliza videojuegos para recopilar comentarios humanos para modificar y validar gráficos de conocimiento para superar estas dificultades.

"GAME-KG es una forma para que los humanos interactúen con los KG para integrar nuevos conocimientos o modificar malentendidos", explica Clark, subdirector de Guildhall, el programa de posgrado en diseño de videojuegos de SMU."Hace que sea más fácil para los humanos corregir una IA cuando empezamos a ver alucinaciones. Y cuando haces una pregunta, la IA utiliza nuestros gráficos de conocimiento modificados para proporcionar una respuesta. Entonces podemos ver cómo la IA llegó a su conclusión porque el conocimientoEl gráfico nos permite rastrear la información utilizada."

La investigación de Clark y Buongiorno explora el potencial de GAME-KG en dos demostraciones.El primero utiliza elvideojuegoSombras oscuras.Este misterio al estilo del cine negrojuegorecopila comentarios de los jugadores para modificar y validar gráficos de conocimiento creados a partir de datos recopilados de comunicados de prensa del Departamento de Justicia de EE. UU. sobre trata de personas.

La segunda demostración utiliza GPT-4 de OpenAI para responder preguntas sobre comunicados de prensa sobre trata de personas.Al programa de IA se le solicitan respuestas basadas en un gráfico de conocimiento original creado a partir de las publicaciones.Luego, un humano modifica el gráfico de conocimiento conectando y agregando relaciones implícitas entre entidades.

Según sus resultados, los investigadores creen que el marco GAME-KG es un paso importante hacia el aprovechamiento de los juegos para modificar los gráficos de conocimiento y ayudar a los LLM con la producción de datos precisos.

"Hemos estado trabajando en el uso de LLM para tipos críticos de situaciones, comotrata de personas.Comprender cómo la IA llegó a su respuesta es crucial", dijo Buongiorno, investigador postdoctoral en SMU. "Necesitamos preguntarnos: ¿Cómo podemos hacer que los LLM sean más precisos?¿Cómo podemos inspeccionar datos y reducir las alucinaciones?Nuestra investigación muestra que la IA es una herramienta que requiere la interacción humana para guiarla y dirigirla.Depende de nosotros crear la metodología para hacer que los LLM sean más útiles y confiables".