西北大學的工程師開發了一種新的全身動作捕捉系統，它不需要專門的房間、昂貴的設備、笨重的相機或感測器陣列。

相反，它需要一個簡單的行動裝置。

新系統名為 MobilePoser，利用已嵌入消費者行動裝置（包括智慧型手機、智慧手錶和無線耳機）中的感測器。使用組合感測器數據、機器學習和物理學，MobilePoser 能夠即時準確地追蹤人的全身姿勢和空間中的全局平移。

「MobilePoser 在行動裝置上即時運行，透過先進的機器學習領導這項研究的西北大學卡蘭·阿胡賈 (Karan Ahuja) 表示：「這項技術標誌著移動動作捕捉的重大飛躍，使身臨其境的體驗變得更容易獲得和使用。」為各產業的創新應用打開大門。

Ahuja 團隊將於 10 月 15 日在大會上推出 MobilePoser2024 ACM 使用者介面軟體與技術研討會在匹茲堡。「MobilePoser：行動消費設備中 IMU 的即時全身姿勢估計和 3D 人工翻譯」將作為「姿勢作為輸入」會議的一部分進行。

專家人機交互Ahuja 是西北大學麥考密克工程學院計算機科學系的 Lisa Wissner-Slivka 和 Benjamin Slivka 助理教授，負責指導感測、感知、互動式運算和體驗 (SPICE) 實驗室。

目前系統的局限性

大多數電影愛好者都熟悉動作捕捉技術，這些技術通常會在幕後鏡頭中展現。為了創造 CGI 角色（例如《魔戒》中的咕嚕或《阿凡達》中的納美人），演員們穿著佈滿感測器的合身套裝，在專門的房間裡徘徊。電腦捕捉感測器數據，然後顯示演員的動作和微妙的表情。

「這是動作捕捉的黃金標準，但運行該設置的成本高達 10 萬美元，」Ahuja 說。“我們希望開發一個易於訪問、民主化的版本，基本上任何人都可以使用他們已有的設備來使用。”

其他運動感測系統，例如 Microsoft Kinect，依賴觀察身體運動的固定相機。如果一個人在攝影機的視野範圍內，這些系統就能正常運作。但它們對於行動或行動應用程式來說是不切實際的。

預測姿勢

為了克服這些限制，Ahuja 的團隊轉向慣性測量單元 (IMU)，該系統結合使用感測器（加速度計、陀螺儀和磁力計）來測量身體的運動和方向。

這些感測器已經內建在智慧型手機和其他裝置中，但對於精確的動作捕捉應用來說保真度太低。為了提高效能，Ahuja 的團隊添加了客製化的多層人工智慧 (AI) 演算法，他們使用從高品質運動捕捉資料生成的公開的大型合成 IMU 測量資料集來訓練該演算法。

透過感測器數據，MobilePoser 可以獲得有關加速度和身體方向的資訊。然後，它透過人工智慧演算法提供這些數據，該演算法估計關節位置和關節旋轉、行走速度和方向以及用戶腳與地面之間的接觸。

最後，MobilePoser 使用基於物理的優化器來完善預測的運動，以確保它們與現實生活中的身體運動相符。例如，在現實生活中，關節不能向後彎曲，頭部不能旋轉 360 度。物理優化器確保捕獲的運動也不會以物理上不可能的方式移動。

最終系統的追蹤誤差僅為 8 至 10 公分。相較之下，假設使用者處於相機的視野範圍內，Microsoft Kinect 的追蹤誤差為 4 到 5 公分。透過 MobilePoser，用戶可以自由漫遊。

阿胡賈說：“當一個人佩戴多個設備時，例如手腕上的智慧手錶和口袋裡的智慧型手機，準確性會更好。”「但該系統的關鍵部分是它具有適應性。即使有一天你沒有手錶而只有手機，它也可以適應以找出你的全身姿勢。”

潛在用例

雖然 MobilePoser 可以為遊戲玩家提供更身臨其境的體驗，但新應用程式也為健康和健身帶來了新的可能性。它不僅僅是簡單地計算步數，還讓使用者能夠查看自己的全身姿勢，從而確保鍛鍊時的姿勢正確。新的應用程式還可以幫助醫生分析患者的活動能力、活動水平和步態。Ahuja 還設想這項技術可以用於室內導航——這是目前 GPS 的弱點，因為它只能在室外工作。

「現在，醫生用計步器追蹤患者的活動情況，」阿胡賈說。「這有點可悲，對吧？我們的手機可以計算羅馬的溫度。它們對外部世界的了解比對我們自己身體的了解還要多。我們希望手機不僅僅是智慧計步器。手機應該能夠檢測到不同的活動，確定你的姿勢，成為更主動的助手。

為了鼓勵其他研究人員以這項工作為基礎，Ahuja 的團隊發布了預訓練模型、資料預處理腳本和模型訓練程式碼作為開源軟體。Ahuja 也表示，該應用程式很快將適用於 iPhone、AirPods 和 Apple Watch。

更多資訊：Vasco Xu 等人，MobilePoser：行動消費設備中 IMU 的即時全身姿勢估計和 3D 人工翻譯，第 37 屆 ACM 使用者介面軟體與技術年度研討會論文集（2024）。DOI：10.1145/3654777.3676461