La frase "la práctica hace la perfección" suele estar reservada para los humanos, pero también es una gran máxima para los robots recién desplegados en entornos desconocidos.

Imagen de unarobotllegando a un almacén.Viene con las habilidades en las que fue entrenado, como colocar un objeto, y ahora necesita recoger artículos de un estante con el que no está familiarizado.Al principio, la máquina tiene dificultades con esto, ya que necesita familiarizarse con su nuevo entorno.Para mejorar, el robot necesitará comprender qué habilidades dentro de una tarea general necesita mejorar y luego especializar (o parametrizar) esa acción.

Un humano en el sitio podría programar el robot para optimizar su rendimiento, pero investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT y el Instituto de IA han desarrollado una alternativa más efectiva.Presentado en elRobótica: Conferencia de Ciencia y SistemasEl mes pasado, su algoritmo "Estimar, Extrapolar y Situar" (EES) permite que estas máquinas practiquen por sí solas, lo que potencialmente las ayudará a mejorar en tareas útiles en fábricas, hogares y hospitales.

El estudio espublicadoen elarXivservidor de preimpresión.

Evaluando la situación

Para ayudar a los robots a mejorar en actividades como barrer pisos, EES trabaja con un sistema de visión que localiza y rastrea los alrededores de la máquina.Luego, el algoritmo estima la fiabilidad con la que el robot ejecuta una acción (como barrer) y si valdría la pena practicar más.EES pronostica qué tan bien el robot podría realizar la tarea general si perfecciona esa habilidad en particular y, finalmente, la practica.Posteriormente, el sistema de visión comprueba si esa habilidad se realizó correctamente después de cada intento.

EES podría resultar útil en lugares como un hospital, una fábrica, una casa o una cafetería.Por ejemplo, si quisieras que un robot limpiara tu sala de estar, necesitaría ayuda para practicar habilidades como barrer.Sin embargo, según Nishanth Kumar SM '24 y sus colegas, EES podría ayudar a que ese robot mejore sinintervención humana, utilizando sólo unas pocas pruebas de práctica.

"Al iniciar este proyecto, nos preguntamos si esta especialización sería posible en una cantidad razonable de muestras en un robot real", dice Kumar, coautor principal de un artículo que describe el trabajo, Ph.D.estudiante de ingeniería eléctrica e informática, y afiliado a CSAIL.

"Ahora tenemos un algoritmo que permite a los robots mejorar significativamente en habilidades específicas en un período de tiempo razonable con decenas o cientos depuntos de datos, una actualización de los miles o millones de muestras que requiere un algoritmo de aprendizaje por refuerzo estándar".

Ver barrido puntual

La habilidad de EES para el aprendizaje eficiente fue evidente cuando se implementó en el cuadrúpedo Spot de Boston Dynamics durante las pruebas de investigación en el AI Institute.El robot, que tiene un brazo sujeto a su espalda, completó tareas de manipulación después de practicar durante algunas horas.En una demostración, el robot aprendió a colocar de forma segura una bola y un anillo sobre una mesa inclinada en aproximadamente tres horas.

En otro, el algoritmo guió a la máquina para mejorar su capacidad de barrer juguetes y tirarlos a la papelera en aproximadamente dos horas.Ambos resultados parecen ser una actualización de los marcos anteriores, que probablemente habrían requerido más de 10 horas por tarea.

"Nuestro objetivo era que el robot recopilara su propia experiencia para que pudiera elegir mejor qué estrategias funcionarán bien en su implementación", dice el coautor principal Tom Silver SM '20, Ph.D.'24, unelectrotecniae informática (EECS) y afiliado a CSAIL que ahora es profesor asistente en la Universidad de Princeton.

"Al centrarnos en lo que sabe el robot, buscamos responder una pregunta clave: en la biblioteca de habilidades que tiene el robot, ¿cuál es la que sería más útil practicar en este momento?"

EES podría eventualmente ayudar a agilizar la práctica autónoma de los robots en nuevos entornos de implementación, pero por ahora tiene algunas limitaciones.Para empezar, utilizaron mesas cercanas al suelo, lo que facilitó al robot ver sus objetos.

Kumar y Silver también imprimieron en 3D un mango acoplable que hizo que el cepillo fuera más fácil de agarrar para Spot.El robot no detectó algunos elementos e identificó objetos en los lugares equivocados, por lo que los investigadores contaron esos errores como fallas.

Dar tarea a los robots

Los investigadores señalan que la velocidad de práctica de los experimentos físicos podría acelerarse aún más con la ayuda de un simulador.En lugar de trabajar físicamente en cada habilidad de forma autónoma, el robot podría eventualmente combinar la práctica real y virtual.Esperan hacer que su sistema sea más rápido con menos latencia, diseñando EES para superar los retrasos en las imágenes que experimentaron los investigadores.En el futuro, es posible que investiguen un algoritmo que razona sobre secuencias de intentos de práctica en lugar de planificar qué habilidades perfeccionar.

"Permitir que los robots aprendan por sí solos es increíblemente útil y extremadamente desafiante", dice Danfei Xu, profesor asistente en la Escuela de Computación Interactiva de Georgia Tech y científico investigador de NVIDIA AI, que no participó en este trabajo.

"En el futuro, los robots domésticos se venderán en todo tipo de hogares y se espera que realicen una amplia gama de tareas. No es posible programar todo lo que necesitan saber de antemano, por lo que es esencial que puedan aprender en el trabajo. Sin embargo,, dejar que los robots exploren y aprendan sin guía puede ser muy lento y podría tener consecuencias no deseadas.

"La investigación de Silver y sus colegas introduce un algoritmo que permite a los robots practicar sus habilidades de forma autónoma y estructurada. Este es un gran paso hacia la creación de robots domésticos que puedan evolucionar y mejorar continuamente por sí mismos".

Los coautores de Silver y Kumar son los investigadores del AI Institute Stephen Proulx y Jennifer Barry, además de cuatro miembros de CSAIL: Northeastern University Ph.D.estudiante e investigador visitante Linfeng Zhao, MIT EECS Ph.D.el estudiante Willie McClinton y los profesores del MIT EECS Leslie Pack Kaelbling y Tomás Lozano-Pérez.Su trabajo fue apoyado, en parte, por el Instituto AI, la Fundación Nacional de Ciencias de EE. UU., la Oficina de Investigación Científica de la Fuerza Aérea de EE. UU., la Oficina de Investigación Naval de EE. UU., la Oficina de Investigación del Ejército de EE. UU. y MIT Quest for Intelligence, con altorecursos informáticos de rendimiento del MIT SuperCloud y el Lincoln Laboratory Supercomputing Center.