A first physical system to learn nonlinear tasks without a traditional computer processor
Sam Dillavou, postdoctorado en el Grupo de Investigación Durian de la Facultad de Artes y Ciencias, construyó los componentes de esta red de aprendizaje local contrastante, un sistema analógico rápido, de bajo consumo, escalable y capaz de aprender tareas no lineales.Crédito: Erica Moser

Los científicos se topan con muchas compensaciones al intentar construir y ampliar sistemas similares al cerebro que puedan realizar aprendizaje automático.Por ejemplo, las redes neuronales artificiales son capaces de aprender tareas complejas de lenguaje y visión, pero el proceso de entrenar computadoras para realizar estas tareas es lento y requiere mucha potencia.

Entrenar a las máquinas para que aprendan digitalmente pero realicen tareas en forma analógica, lo que significa que la entrada varía con una cantidad física, como el voltaje, puede reducir el tiempo y la energía, pero pequeños errores pueden agravarse rápidamente.

Una red eléctrica que investigadores de física e ingeniería de la Universidad de Pensilvaniapreviamente diseñadoes más escalable porque los errores no se agravan de la misma manera a medida que crece el tamaño del sistema, pero está severamente limitado ya que solo puede aprender tareas lineales, aquellas con una relación simple entre la entrada y la salida.

Ahora, los investigadores han creado un sistema analógico que es rápido, de bajo consumo, escalable y capaz de aprender más., incluidas las relaciones "exclusivas o" (XOR) y la regresión no lineal.A esto se le llama red de aprendizaje local contrastante;los componentes evolucionan por sí solos basándose en reglas locales sin conocimiento de la estructura más amplia.

El profesor de física Douglas J. Durian lo compara con cómo funcionan las neuronas en elNo sabemos qué están haciendo otras neuronas y, sin embargo, surge el aprendizaje.

"Puede aprender, en unsentido, para realizar tareas útiles, similares a una red neuronal computacional, pero es un objeto físico", dice el físico Sam Dillavou, postdoctorado en el Durian Research Group y primer autor de un artículo sobre el sistema.publicadoenActas de la Academia Nacional de Ciencias.

"Una de las cosas que realmente nos entusiasma es que, debido a que no tiene conocimiento de la estructura de la red, es muy tolerante a los errores, es muy robusto para ser hecho de diferentes maneras, y creemos que eso abre muchode oportunidades para ampliar estas cosas", afirma el profesor de ingeniería Marc Z. Miskin.

"Creo que es un sistema modelo ideal que podemos estudiar para comprender todo tipo de problemas, incluidos los biológicos", afirma la profesora de física Andrea J. Liu.También dice que podría ser útil para interactuar con dispositivos que recopilan datos que requieren procesamiento, como cámaras y micrófonos.

En el artículo, los autores dicen que su sistema de autoaprendizaje "proporciona una oportunidad única para estudiar el aprendizaje emergente. En comparación con, incluido el cerebro, nuestro sistema se basa en una dinámica más simple y bien entendida, es entrenable con precisión y utiliza componentes modulares simples".

Esta investigación se basa en el marco de aprendizaje acoplado que idearon Liu y el postdoctorado Menachem (Nachi) Stern.publicar sus hallazgos en 2021.En este paradigma, un sistema físico que no está diseñado para realizar una determinada tarea se adapta a las entradas aplicadas para aprender la tarea, mientras utiliza reglas de aprendizaje locales y no utiliza un procesador centralizado.

Dillavou dice que vino a Penn específicamente para este proyecto y trabajó en la traducción del marco de trabajo en simulación a trabajo en su diseño físico actual, que se puede fabricar utilizando componentes de circuitos estándar.

"Una de las partes más locas de esto es que la cosa realmente es aprender por sí sola; simplemente estamos preparándolo para que funcione", dice Dillavou.Los investigadores solo introducen voltajes como entrada, y luego los transistores que conectan los nodos actualizan sus propiedades según la regla de aprendizaje acoplado.

"Debido a que la forma en que calcula y aprende se basa en la física, es mucho más interpretable", dice Miskin."En realidad, puedes descubrir lo que está tratando de hacer porque tienes un buen manejo del mecanismo subyacente. Eso es algo único porque muchos otros sistemas de aprendizaje son cajas negras donde es mucho más difícil saber por qué la red hizo lo que hizo."

Durian dice que espera que esto "sea el comienzo de un campo enorme", y señala que otra postdoctorada en su laboratorio, Lauren Altman, está construyendo versiones mecánicas de redes de aprendizaje local contrastantes.

Los investigadores están trabajando actualmente para ampliar el diseño y Liu dice que hay muchas preguntas sobre la duración del almacenamiento de la memoria, los efectos del ruido, la mejor arquitectura para la red y si existen mejores formas de no linealidad.

"No está realmente claro qué cambia a medida que ampliamos un sistema de aprendizaje", dice Miskin.

"Si piensas en un cerebro, hay una enorme brecha entre un gusano con 300 neuronas y un ser humano, y no es obvio dónde emergen esas capacidades, cómo cambian las cosas a medida que creces. Tener un sistema físico que puedas hacer más grande yCada vez más y más grande es una oportunidad para estudiar eso".

Más información:Sam Dillavou et al, Aprendizaje automático sin procesador: aprendizaje emergente en una red analógica no lineal,Actas de la Academia Nacional de Ciencias(2024).DOI: 10.1073/pnas.2319718121

Citación:Un primer sistema físico para aprender tareas no lineales sin un procesador de computadora tradicional (8 de julio de 2024)recuperado el 8 de julio de 2024de https://techxplore.com/news/2024-07-physical-nonlinear-tasks-traditional-processor.html

Este documento está sujeto a derechos de autor.Aparte de cualquier trato justo con fines de estudio o investigación privados, noparte puede ser reproducida sin el permiso por escrito.El contenido se proporciona únicamente con fines informativos.