Investigadores de Apple Computer Company han encontrado evidencia, a través de pruebas, que muestra que las respuestas aparentemente inteligentes dadas por los LLM basados ​​en IA son poco más que una ilusión.en supapelpublicado en elarXivservidor de preimpresión, los investigadores argumentan que después de probar varios LLM, descubrieron que no son capaces de realizar un razonamiento lógico genuino.

En los últimos años, muchos LLM como ChatGPT se han desarrollado hasta el punto de que muchos usuarios han comenzado a preguntarse si poseen verdadera inteligencia.En este nuevo esfuerzo, el equipo de Apple ha abordado la cuestión asumiendo que la respuesta radica en la capacidad de un ser inteligente, o máquina, para comprender los matices presentes en situaciones simples, que requieren lógica.razonamiento.

Uno de esos matices es la capacidad de separar la información pertinente de la que no lo es.si unniñopregunta a un padre cuántas manzanas hay en una bolsa, por ejemplo, y al mismo tiempo observa que varias son demasiado pequeñas para comerlas, tanto el niño como el padre entienden que el tamaño de las manzanas no tiene nada que ver con el número de ellas presentes.Esto se debe a que ambos poseen habilidades de razonamiento lógico.

En este nuevo estudio, los investigadores probaron la capacidad de varios LLM para comprender verdaderamente lo que se les pregunta, pidiéndoles indirectamente que ignoraran la información que no es pertinente.

Sus pruebas implicaron hacer a varios LLM cientos de preguntas que se han utilizado antes como un medio para probar las habilidades de los LLM, pero los investigadores también incluyeron un poco de información no pertinente.Y descubrieron que eso era suficiente para confundir a los LLM y dar respuestas incorrectas o incluso sin sentido a preguntas que previamente habían respondido correctamente.

Esto, sugieren los investigadores, muestra que los LLM no entienden realmente lo que se les pregunta.En cambio, reconocen la estructura de una oración y luego escupen unarespuestabasándose en lo que han aprendido a través de algoritmos de aprendizaje automático.

También señalan que la mayoría de los LLM que probaron a menudo responden con respuestas que pueden parecer correctas, pero que tras una revisión más detallada no lo son, como cuando se les pregunta cómo se "sienten" acerca de algo y obtienen respuestas que sugieren que la IA cree que es capaz de hacerlo.tal comportamiento.

© 2024 Red Ciencia X