A first physical system to learn nonlinear tasks without a traditional computer processor
Sam Dillavou 是艺术与科学学院榴莲研究小组的博士后,他构建了这个对比本地学习网络的组件,这是一个快速、低功耗、可扩展且能够学习非线性任务的模拟系统。图片来源:艾丽卡·莫泽

科学家们在尝试构建和扩展能够执行机器学习的类脑系统时遇到了很多权衡。例如,人工神经网络能够学习复杂的语言和视觉任务,但训练计算机执行这些任务的过程很慢并且需要大量的电力。

训练机器以数字方式学习,但以模拟方式执行任务(这意味着输入随物理量(例如电压)而变化)可以减少时间和功耗,但小错误会迅速复合。

宾夕法尼亚大学物理和工程研究人员开发的电网先前设计的更具可扩展性,因为错误不会以与系统规模增长相同的方式复合,但它受到严重限制,因为它只能学习线性任务,即输入和输出之间具有简单关系的任务。

现在,研究人员创建了一个快速、低功耗、可扩展且能够了解更多信息的模拟系统,包括“异或”关系 (XOR) 和非线性回归。这称为对比局部学习网络;这些组件根据局部规则自行演化,而不了解更大的结构。

物理学教授道格拉斯·J·杜里安 (Douglas J. Durian) 将其与大脑中神经元的作用进行了比较。不知道其他神经元在做什么,但学习却出现了。

“它可以学习,在榴莲研究小组的博士后、有关该系统的论文的第一作者、物理学家 Sam Dillavou 说:发表美国国家科学院院刊

“我们真正兴奋的一件事是,因为它不了解网络的结构,所以它对错误的容忍度非常高,对于以不同的方式制作它非常稳健,我们认为这会带来很多好处”工程学教授 Marc Z. Miskin 说。

“我认为这是一个理想的模型系统,我们可以通过研究它来深入了解各种问题,包括生物学问题,”物理学教授安德里亚·J·刘(Andrea J. Liu)说。她还表示,这对于与收集需要处理的数据的设备(例如摄像头和麦克风)进行交互可能很有帮助。

在论文中,作者表示,他们的自学系统“为研究新兴学习提供了独特的机会。相比之下包括大脑在内,我们的系统依赖于更简单、易于理解的动力学,可精确训练,并使用简单的模块化组件。”

这项研究基于 Liu 和博士后 Menachem (Nachi) Stern 设计的耦合学习框架,将于 2021 年发布他们的研究结果。在这种范例中,不是为完成特定任务而设计的物理系统会适应应用的输入来学习该任务,同时使用本地学习规则并且没有集中处理器。

迪拉沃说,他专门为了这个项目来到宾夕法尼亚大学,他致力于将框架从模拟工作转变为当前的物理设计,可以使用标准电路组件进行制作。

“这方面最疯狂的部分之一是,它确实是在自行学习;我们只是将其设置为运行,”迪拉沃说。研究人员仅输入电压作为输入,然后连接节点的晶体管根据耦合学习规则更新其属性。

“因为它的计算和学习方式都是基于物理学,所以它更容易解释,”米斯金说。“你实际上可以弄清楚它想要做什么,因为你对底层机制有很好的掌握。这很独特,因为许多其他学习系统都是黑匣子,很难知道网络为什么这样做。”

Durian 表示,他希望这“是一个巨大领域的开始”,并指出他实验室的另一位博士后 ​​Lauren Altman 正在构建对比本地学习网络的机械版本。

研究人员目前正在扩大设计规模,刘说,关于内存存储的持续时间、噪声的影响、网络的最佳架构以及是否存在更好的非线性形式,存在很多问题。

米斯金说:“我们并不清楚随着我们扩大学习系统的规模,会发生什么变化。”

“如果你想象一下大脑,那么拥有 300 个神经元的蠕虫与人类之间存在着巨大的差距,这些能力在哪里出现,随着规模的扩大,事情会如何变化,这些并不明显。拥有一个可以变得更大、更强大的物理系统。越来越大、越来越大是一个真正研究这个问题的机会。”

更多信息:Sam Dillavou 等人,没有处理器的机器学习:非线性模拟网络中的紧急学习,美国国家科学院院刊(2024)。DOI:10.1073/pnas.2319718121

引文:第一个无需传统计算机处理器即可学习非线性任务的物理系统(2024 年 7 月 8 日)检索日期:2024 年 7 月 8 日来自 https://techxplore.com/news/2024-07-physical-nonlinear-tasks-traditional-processor.html

本文档受版权保护。除了出于私人学习或研究目的的任何公平交易外,不得未经书面许可,不得复制部分内容。所提供的内容仅供参考。