西北大学的工程师开发了一种新的全身动作捕捉系统，它不需要专门的房间、昂贵的设备、笨重的相机或传感器阵列。

相反，它需要一个简单的移动设备。

新系统名为 MobilePoser，利用已嵌入消费者移动设备（包括智能手机、智能手表和无线耳机）中的传感器。使用组合传感器数据、机器学习和物理学，MobilePoser 能够实时准确地跟踪人的全身姿势和空间中的全局平移。

“MobilePoser 在移动设备上实时运行，通过先进的机器学习领导这项研究的西北大学卡兰·阿胡贾 (Karan Ahuja) 表示：“这项技术标志着移动动作捕捉的重大飞跃，使身临其境的体验变得更容易获得和使用。”为各行业的创新应用打开大门。”

Ahuja 团队将于 10 月 15 日在大会上推出 MobilePoser2024 ACM 用户界面软件与技术研讨会在匹兹堡。“MobilePoser：移动消费设备中 IMU 的实时全身姿势估计和 3D 人工翻译”将作为“姿势作为输入”会议的一部分进行。

专家人机交互Ahuja 是西北大学麦考密克工程学院计算机科学系的 Lisa Wissner-Slivka 和 Benjamin Slivka 助理教授，负责指导传感、感知、交互式计算和体验 (SPICE) 实验室。

当前系统的局限性

大多数电影爱好者都熟悉动作捕捉技术，这些技术通常会在幕后镜头中展现。为了创造 CGI 角色（例如《指环王》中的咕噜或《阿凡达》中的纳美人），演员们穿着布满传感器的合身套装，在专门的房间里徘徊。计算机捕获传感器数据，然后显示演员的动作和微妙的表情。

“这是动作捕捉的黄金标准，但运行该设置的成本高达 10 万美元，”Ahuja 说。“我们希望开发一个易于访问、民主化的版本，基本上任何人都可以使用他们已有的设备来使用。”

其他运动传感系统，例如 Microsoft Kinect，依赖于观察身体运动的固定摄像头。如果一个人在摄像机的视野范围内，这些系统就能正常工作。但它们对于移动或移动应用程序来说是不切实际的。

预测姿势

为了克服这些限制，Ahuja 的团队转向惯性测量单元 (IMU)，该系统结合使用传感器（加速度计、陀螺仪和磁力计）来测量身体的运动和方向。

这些传感器已经内置于智能手机和其他设备中，但对于精确的动作捕捉应用来说保真度太低。为了提高性能，Ahuja 的团队添加了定制的多级人工智能 (AI) 算法，他们使用从高质量运动捕捉数据生成的公开的大型合成 IMU 测量数据集来训练该算法。

通过传感器数据，MobilePoser 可以获得有关加速度和身体方向的信息。然后，它通过人工智能算法提供这些数据，该算法估计关节位置和关节旋转、行走速度和方向以及用户脚与地面之间的接触。

最后，MobilePoser 使用基于物理的优化器来完善预测的运动，以确保它们与现实生活中的身体运动相匹配。例如，在现实生活中，关节不能向后弯曲，头部不能旋转 360 度。物理优化器确保捕获的运动也不会以物理上不可能的方式移动。

最终系统的跟踪误差仅为 8 至 10 厘米。相比之下，假设用户处于摄像头的视野范围内，Microsoft Kinect 的跟踪误差为 4 到 5 厘米。借助 MobilePoser，用户可以自由漫游。

阿胡贾说：“当一个人佩戴多个设备时，例如手腕上的智能手表和口袋里的智能手机，准确性会更好。”“但该系统的一个关键部分是它具有适应性。即使有一天你没有手表而只有手机，它也可以适应以找出你的全身姿势。”

潜在用例

虽然 MobilePoser 可以为游戏玩家提供更身临其境的体验，但新应用程序也为健康和健身带来了新的可能性。它不仅仅是简单地计算步数，还让用户能够查看自己的全身姿势，从而确保锻炼时的姿势正确。新的应用程序还可以帮助医生分析患者的活动能力、活动水平和步态。Ahuja 还设想这项技术可以用于室内导航——这是目前 GPS 的弱点，因为它只能在室外工作。

“现在，医生用计步器跟踪患者的活动情况，”阿胡贾说。“这有点可悲，对吧？我们的手机可以计算罗马的温度。它们对外部世界的了解比对我们自己身体的了解还要多。我们希望手机不仅仅是智能计步器。手机应该能够检测到不同的活动，确定你的姿势，成为更主动的助手。”

为了鼓励其他研究人员以这项工作为基础，Ahuja 的团队发布了预训练模型、数据预处理脚本和模型训练代码作为开源软件。Ahuja 还表示，该应用程序很快将适用于 iPhone、AirPods 和 Apple Watch。

更多信息：Vasco Xu 等人，MobilePoser：移动消费设备中 IMU 的实时全身姿势估计和 3D 人工翻译，第 37 届 ACM 用户界面软件和技术年度研讨会论文集（2024）。DOI：10.1145/3654777.3676461