来自斯坦福大学和丰田研究所的机器人专家联合团队发现，在训练机器人时将音频数据添加到视觉数据有助于提高其学习技能。该团队已经发布了他们的研究于arXiv预印本服务器。

研究人员指出，几乎所有基于人工智能的机器人进行的训练都涉及让它们接触大量的视觉信息，而忽略相关的音频。他们想知道，为机器人添加麦克风并允许它们收集有关某件事在完成时听起来如何的数据是否可以帮助它们更好地学习任务。

例如，如果一个机器人假设要学习如何打开一盒麦片并将其装满碗，那么听到盒子打开的声音以及麦片倒入碗中时的干燥程度可能会有所帮助。为了找到答案，该团队设计并进行了四项机器人学习实验。

第一个实验涉及教机器人使用抹刀翻转煎锅中的百吉饼。第二个任务是教机器人使用橡皮擦擦除白板上的图像。第三步是将一个杯子里的骰子倒入另一个杯子中，第四步是从三个可用样品中选择正确尺寸的胶带，并用它把电线粘在塑料条上。

所有实验都涉及使用配备抓爪的同一机器人。所有这些都是以两种方式完成的，即仅使用视频和使用视频和音频。研究团队还改变了教学和表演因素，例如桌子高度、胶带类型或白板上的图像类型。

在完成所有实验后，研究人员通过判断机器人学习和执行任务的速度和容易程度及其准确性来比较结果。他们发现，添加音频可以显着提高某些任务的速度和准确性，但不能提高其他任务的速度和准确性。

例如，在倒骰子的任务中添加音频，可以极大地提高机器人判断是否有骰子的能力。骰子在杯子里。由于发出的独特声音，它还可以帮助机器人了解它是否对橡皮擦施加了适当的压力。另一方面，在确定百吉饼是否已成功翻转或所有图像是否已成功从白板上移除时，添加声音并没有多大帮助。

该团队最后表示，他们的工作表明，将音频添加到教学人工智能机器人材料可以为某些应用提供更好的结果。

© 2024 Science X 网络