Los grandes modelos lingüísticos que se han apoderado cada vez más del mundo tecnológico no son "baratos" en muchos sentidos.Los LLM más destacados, como GPT-4, necesitaron unos 100 millones de dólares para construirlos en forma de costos legales de acceso a datos de capacitación, costos de energía computacional para lo que podrían ser miles de millones o billones de parámetros, la energía y el agua necesarios para impulsar la computación,y los muchos codificadores que desarrollan los algoritmos de entrenamiento que deben ejecutarse ciclo tras ciclo para que la máquina "aprenda".

Pero, si un investigador necesita realizar una tarea especializada que una máquina podría realizar de manera más eficiente y no tiene acceso a una gran institución que ofrezca acceso a herramientas de IA generativa, ¿qué otras opciones hay disponibles?Digamos que un padre quiere preparar a su hijo para un examen difícil y necesita mostrarle muchos ejemplos de cómo resolver problemas matemáticos complicados.

Construir su propio LLM es una perspectiva onerosa para los costos mencionados anteriormente, y hacer uso directo de modelos grandes como GPT-4 y Llama 3.1 podría no ser adecuado de inmediato para el complejo.razonamientoen lógica y matemáticas su tarea requiere.

Sería útil si hubiera una versión más rentable de un pensador de modelos de lenguaje grande disponible para las masas, una marca genérica para la IA generativa.

Investigadores de la Universidad de Washington en St. Louis decidieron afrontar este desafío construyendo un agente autónomo para instruir el proceso de razonamiento degrandes modelos de lenguaje.Este agente genera un único conjunto de instrucciones para cada tarea y esas instrucciones resultan extremadamente efectivas para mejorar el proceso de razonamiento de diferentes LLM en todas las instancias de tareas, según una investigación del laboratorio de Chenguang Wang, profesor asistente de informática e ingeniería., en colaboración con Dawn Song, profesora de la Universidad de California, Berkeley.

Los investigadores incluyeron a WashU Ph.D.los estudiantes Nicholas Crispino, Kyle Montgomery y el analista de investigación Fankun Zeng, quienpresentó su trabajoen una conferencia reciente sobre aprendizaje automático.El trabajo también esdisponibleen elarXivservidor de preimpresión.

Este "agente" es un gran LLM que sirve como herramienta para pensar las instrucciones de la web, dijo Crispino.Al recibir información básica de la tarea, como el nombre del conjunto de datos y algunos ejemplos de solo entrada, el agente produce instrucciones paso a paso de alta calidad para las tareas.

Esas instrucciones guían el razonamiento de los LLM más pequeños en determinadas tareas.Es una forma más económica de hacer IA generativa porque solo tienen que usar el LLM grande una vez por conjunto de datos y luego entregan las instrucciones a un LLM más pequeño que puede tomar el control.

"Podemos utilizar el modelo caro una vez y crear estas bonitas instrucciones para guiar el razonamiento o el proceso de pensamiento de un modelo más barato", dijo Crispino.

"Nuestro método aumenta considerablemente el rendimiento de los modelos de lenguajes grandes de última generación", añadió Montgomery.

Probaron su método rentable, llamado Zero-Shot AgentInstruct, en tareas de procesamiento del lenguaje y compararon su rendimiento con los métodos de indicaciones zero-shot utilizando los LLM Vicuna-13b, Llama-2-70b-chat y GPT-3.5 Turbo.

En comparación con el mensaje de "cadena de pensamiento de disparo cero", que funciona agregando el mensaje "Pensemos paso a paso", Zero-Shot AgentInstruct mostró un mejor rendimiento en una variedad de tareas evaluadas en 29 conjuntos de datos (incluidos 53 subconjuntos).

"Nuestra mejora en el pensamiento y el razonamiento es sorprendente, particularmente en matemáticas y lógica", afirmó Wang.

Básicamente, utilizan los potentes modelos LLM para sintetizar las tareas en rutas de razonamiento paso a paso para el otro modelo, como un profesor experimentado que comparte sus conocimientos con los estudiantes.

"Estamos viendo hasta qué punto podemos llevar las capacidades de razonamiento de modelos más pequeños utilizando modelos más grandes sin entrenamiento", dijo Crispino.