Una de las características distintivas de la humanidad es el lenguaje, pero ahora, nuevas y poderosas herramientas de inteligencia artificial también componen poesía, escriben canciones y mantienen extensas conversaciones con usuarios humanos.Herramientas como ChatGPT y Gemini están ampliamente disponibles con solo tocar un botón, pero ¿qué tan inteligentes son estas IA?

Un nuevo esfuerzo de investigación multidisciplinario codirigido por Anna (Anya) Ivanova, profesora asistente de la Facultad de Psicología de Georgia Tech, junto con Kyle Mahowald, profesor asistente del Departamento de Lingüística de la Universidad de Texas en Austin, está trabajando para descubrirsolo eso.

Sus resultados podrían conducir a IA innovadoras que sean más similares a lacerebro humanoque nunca antes, y también ayudará a los neurocientíficos y psicólogos que están desenterrando los secretos de nuestras propias mentes.

El estudio, "Disociación del lenguaje y el pensamiento en modelos de lenguaje grandes", estápublicadoenTendencias en Ciencias Cognitivas.Un anteriorpreimpresióndel artículo se publicó en enero de 2023. El equipo de investigación continuó perfeccionando la investigación para esta publicación final en la revista.

"ChatGPT estuvo disponible mientras estábamos finalizando la preimpresión", explica Ivanova."Durante el año pasado, tuvimos la oportunidad de actualizar nuestros argumentos a la luz de esta nueva generación de modelos, que ahora incluye ChatGPT".

Forma versus función

El estudio se centra en modelos de lenguajes grandes (LLM), que incluyen IA como ChatGPT.Los LLM son modelos de predicción de texto y crean escritura prediciendo qué palabra viene a continuación en una oración, del mismo modo que un teléfono celular o un servicio de correo electrónico como Gmail podría sugerir qué palabra desearía escribir a continuación.Sin embargo, si bien este tipo de aprendizaje de idiomas es extremadamente eficaz para crear oraciones coherentes, eso no significa necesariamente inteligencia.

El equipo de Ivanova sostiene que la competencia formal (crear una oración bien estructurada y gramaticalmente correcta) debe diferenciarse de la competencia funcional (responder la pregunta correcta, comunicar la información correcta o comunicarse de manera apropiada).El equipo también descubrió que, si bien los LLM capacitados en predicción de textos suelen ser muy buenos en habilidades formales, todavía tienen dificultades con las habilidades funcionales.

"Los humanos tenemos la tendencia a combinar lenguaje y pensamiento", dice Ivanova."Creo que es importante tener esto en cuenta mientras intentamos descubrir de qué son capaces estos modelos, porque usar esa capacidad para ser bueno en el lenguaje, para ser bueno en la competencia formal, lleva a muchas personas a asumir que las IATambién somos buenos pensando, incluso cuando ese no es el caso.

"Es una heurística que desarrollamos al interactuar con otros humanos durante miles de años de evolución, pero ahora, en algunos aspectos, esa heurística está rota", explica Ivanova.

La distinción entre competencia formal y funcional también es vital para probar rigurosamente las capacidades de una IA, añade Ivanova.Las evaluaciones a menudo no distinguen entre competencia formal y funcional, lo que dificulta evaluar qué factores determinan el éxito o el fracaso de un modelo.La necesidad de desarrollar pruebas distintas es uno de los hallazgos más ampliamente aceptados del equipo y que algunos investigadores en el campo ya han comenzado a implementar.

Creando un sistema modular

Si bien la tendencia humana a combinar la competencia funcional y formal puede haber dificultado la comprensión de los LLM en el pasado, nuestro cerebro humano también podría ser la clave para desbloquear IA más poderosas.

Aprovechando las herramientas de la neurociencia cognitiva mientras era asociada postdoctoral en el Instituto de Tecnología de Massachusetts (MIT), Ivanova y su equipo estudiaronactividad cerebralen individuos neurotípicos mediante resonancia magnética funcional, y utilizó evaluaciones de comportamiento de individuos condaño cerebralpara probar el papel causal de las regiones del cerebro en el lenguaje y la cognición, tanto realizando nuevas investigaciones como basándose en estudios previos.Los resultados del equipo mostraron que los cerebros humanos utilizan diferentes regiones para la competencia funcional y formal, lo que respalda aún más esta distinción en las IA.

"Nuestra investigación muestra que en el cerebro hay un módulo de procesamiento del lenguaje y módulos separados para el razonamiento", dice Ivanova.Esta modularidad también podría servir como modelo sobre cómo desarrollar futuras IA.

"Basándonos en conocimientos procedentes del cerebro humano, donde el sistema de procesamiento del lenguaje es claramente distinto de los sistemas que respaldan nuestra capacidad de pensar, sostenemos que la distinción entre lenguaje y pensamiento es conceptualmente importante para pensar, evaluar y mejorar.grandes modelos de lenguaje, especialmente teniendo en cuenta los esfuerzos recientes para dotar a estos modelos de una inteligencia similar a la humana", dice la ex asesora de Ivanova y coautora del estudio Evelina Fedorenko, profesora de ciencias cerebrales y cognitivas en el MIT y miembro del Instituto McGovern para la Investigación del Cerebro.

Desarrollar IA siguiendo el patrón del cerebro humano podría ayudar a crear sistemas más potentes y, al mismo tiempo, ayudarles a encajar de forma más natural con los usuarios humanos."En general, las diferencias en la estructura interna de un mecanismo afectan el comportamiento", dice Ivanova."Construir un sistema que tenga una organización macroscópica amplia similar a la del cerebro humano podría ayudar a garantizar que esté más alineado con los humanos en el futuro".

En el mundo de la IA en rápido desarrollo, estos sistemas están listos para la experimentación.Después de que se publicó la preimpresión del equipo, OpenAI anunció su intención de agregar complementos a sus modelos GPT.

"Ese sistema de complemento es en realidad muy similar a lo que sugerimos", añade Ivanova."Se necesita un enfoque de modularidad en el que el modelo de lenguaje pueda ser una interfaz para otro módulo especializado dentro de un sistema".

Si bien el sistema de complemento OpenAI incluirá funciones como reservar vuelos y pedir comida, en lugar de funciones inspiradas cognitivamente, demuestra que "el enfoque tiene mucho potencial", dice Ivanova.

El futuro de la IA... y lo que puede decirnos sobre nosotros mismos

Si bien nuestro propio cerebro podría ser la clave para desbloquear IA mejores y más poderosas, estas IA también podrían ayudarnos a comprendernos mejor a nosotros mismos."Cuando los investigadores intentan estudiar el cerebro y la cognición, suele ser útil tener algún sistema más pequeño en el que puedas entrar y husmear y ver qué está pasando antes de llegar a la inmensa complejidad", explica Ivanova.

Sin embargo, dado que el lenguaje humano es único, los sistemas modelo o animal son más difíciles de relacionar.Ahí es donde entran los LLM.

"Hay muchas similitudes sorprendentes entre cómo abordar el estudio del cerebro y el estudio de una red neuronal artificial", como un modelo de lenguaje de gran tamaño, añade."Ambos son sistemas de procesamiento de información que tienen neuronas biológicas o artificiales para realizar cálculos".

En muchos sentidos, el cerebro humano sigue siendo una caja negra, pero las IA disponibles abiertamente ofrecen una oportunidad única de ver el funcionamiento interno del sistema sintético y modificar variables, y explorar estos sistemas correspondientes como nunca antes.

"Es un modelo realmente maravilloso sobre el que tenemos mucho control", dice Ivanova."Las redes neuronales son increíbles".

Además de Anna (Anya) Ivanova, Kyle Mahowald y Evelina Fedorenko, el equipo de investigación también incluye a Idan Blank (Universidad de California, Los Ángeles), así como a Nancy Kanwisher y Joshua Tenenbaum (Instituto de Tecnología de Massachusetts).