來自史丹佛大學和豐田研究所的機器人專家聯合團隊發現，在訓練機器人時將音訊資料添加到視覺資料有助於提高其學習技能。該團隊已經發布了他們的研究於arXiv預印本伺服器。

研究人員指出，幾乎所有基於人工智慧的機器人進行的訓練都涉及讓它們接觸大量的視覺訊息，而忽略相關的音訊。他們想知道，為機器人添加麥克風並允許它們收集有關某件事在完成時聽起來如何的數據是否可以幫助它們更好地學習任務。

例如，如果一個機器人假設要學習如何打開一盒麥片並將其裝滿碗，那麼聽到盒子打開的聲音以及麥片倒入碗中時的干燥程度可能會有所幫助。為了找到答案，團隊設計並進行了四個機器人學習實驗。

第一個實驗涉及教導機器人使用抹刀翻轉煎鍋中的百吉餅。第二個任務是教導機器人使用橡皮擦擦除白板上的影像。第三步是將一個杯子裡的骰子倒入另一個杯子中，第四步是從三個可用樣品中選擇正確尺寸的膠帶，並用它把電線粘在塑膠條上。

所有實驗都涉及使用配備抓爪的同一機器人。所有這些都是以兩種方式完成的，即僅使用視訊和使用視訊和音訊。研究團隊也改變了教學和表演因素，例如桌子高度、膠帶類型或白板上的圖像類型。

在完成所有實驗後，研究人員透過判斷機器人學習和執行任務的速度和容易程度及其準確性來比較結果。他們發現，添加音訊可以顯著提高某些任務的速度和準確性，但不能提高其他任務的速度和準確性。

例如，在倒骰子的任務中添加音頻，可以極大地提高機器人判斷是否有骰子的能力。骰子在杯子裡。由於發出的獨特聲音，它還可以幫助機器人了解它是否對橡皮擦施加了適當的壓力。另一方面，在確定百吉餅是否已成功翻轉或所有圖像是否已成功從白板上移除時，添加聲音並沒有多大幫助。

團隊最後表示，他們的工作表明，將音訊添加到教學人工智慧機器人材料可以為某些應用提供更好的結果。

© 2024 Science X 網絡