ノースウェスタン大学のエンジニアは、全身モーション キャプチャのための新しいシステムを開発しました。このシステムには、専用の部屋、高価な機器、かさばるカメラや一連のセンサーは必要ありません。

代わりに、単純なモバイル デバイスが必要です。

MobilePoserと呼ばれるこの新しいシステムは、スマートフォン、スマートウォッチ、ワイヤレスイヤホンなどの消費者向けモバイルデバイスにすでに組み込まれているセンサーを活用しています。を組み合わせて使用​​するセンサーデータ、機械学習と物理学により、MobilePoser は人の全身ポーズと空間内のグローバルな移動をリアルタイムで正確に追跡します。

「モバイル デバイス上でリアルタイムで実行される MobilePoser は、高度な機能を通じて最先端の精度を実現します。機械学習「物理ベースの最適化により、特殊な機器を必要とせずにゲーム、フィットネス、屋内ナビゲーションの新たな可能性が解き放たれます。」と研究を主導したノースウェスタン社のカラン・アフジャ氏は述べ、「この技術はモバイル モーション キャプチャへの大きな飛躍を示し、没入型体験をよりアクセスしやすくし、さまざまな業界にわたる革新的なアプリケーションへの扉を開きます。」

アフジャ氏のチームは、10 月 15 日に開催される次のイベントで MobilePoser を発表します。ユーザー インターフェイス ソフトウェアとテクノロジに関する 2024 年の ACM シンポジウムピッツバーグで。「MobilePoser: モバイル消費者デバイスの IMU からのリアルタイム全身姿勢推定と 3D 人間による翻訳」は、「入力としてのポーズ」に関するセッションの一部として開催されます。

の専門家人間とコンピュータの相互作用, アフジャは、ノースウェスタン大学マコーミック工学大学院のコンピューターサイエンスのリサ・ウィスナー・スリヴカ助教授とベンジャミン・スリヴカ助教授で、センシング・知覚・インタラクティブ・コンピューティング・アンド・エクスペリエンス（SPICE）ラボを指揮しています。

現在のシステムの限界

ほとんどの映画ファンは、舞台裏の映像で明らかにされるモーション キャプチャ技術に精通しています。『ロード・オブ・ザ・リング』のゴラムや『アバター』のナヴィのような CGI キャラクターを作成するには、俳優がセンサーで覆われたぴったりとしたスーツを着て、専用の部屋を歩き回ります。コンピューターがセンサーデータを取得し、俳優の動きや微妙な表情を表示します。

「これはモーション キャプチャのゴールドスタンダードですが、そのセットアップを実行するには 10 万ドル以上の費用がかかります」とアフジャ氏は言います。「私たちは、基本的に誰もがすでに持っている機器で使用できる、アクセスしやすく民主化されたバージョンを開発したかったのです。」

たとえば、Microsoft Kinect などの他のモーション検知システムは、体の動きを観察する固定カメラに依存しています。人物がカメラの視野内にいる場合、これらのシステムはうまく機能します。しかし、モバイルや外出先でのアプリケーションには実用的ではありません。

ポーズを予測する

これらの制限を克服するために、アフジャ氏のチームは慣性測定ユニット (IMU) に注目しました。これは、加速度計、ジャイロスコープ、磁力計などのセンサーを組み合わせて物体の動きと方向を測定するシステムです。

これらのセンサーはすでにスマートフォンやその他のデバイス内に組み込まれていますが、正確なモーション キャプチャ アプリケーションには忠実度が低すぎます。パフォーマンスを向上させるために、Ahuja 氏のチームはカスタム構築の多段階人工知能 (AI) アルゴリズムを追加しました。このアルゴリズムは、高品質のモーション キャプチャ データから生成された、公開されている合成 IMU 測定値の大規模なデータセットを使用してトレーニングされました。

MobilePoser はセンサー データを使用して、加速度と体の向きに関する情報を取得します。次に、このデータを AI アルゴリズムに入力し、関節の位置と関節の回転、歩行の速度と方向、ユーザーの足と地面の接触を推定します。

最後に、MobilePoser は物理ベースのオプティマイザーを使用して予測された動きを調整し、実際の体の動きと一致するようにします。たとえば、現実の生活では、関節を後方に曲げることはできず、頭を 360 度回転させることもできません。物理オプティマイザーは、キャプチャされたモーションが物理的に不可能な方法で移動できないことを保証します。

結果として得られるシステムの追跡誤差はわずか 8 ～ 10 センチメートルです。比較のために、ユーザーがカメラの視野内に留まっていると仮定した場合、Microsoft Kinect の追跡誤差は 4 ～ 5 センチメートルです。MobilePoser を使用すると、ユーザーは自由にローミングできます。

「手首にスマートウォッチとポケットにスマートフォンを入れるなど、複数のデバイスを身に着けている場合、精度は向上します」とアフジャ氏は言う。「しかし、このシステムの重要な部分は、適応性があるということです。ある日時計を持たず、携帯電話しか持っていないとしても、適応して全身の姿勢を把握することができます。」

潜在的な使用例

MobilePoser はゲーマーにより没入型のエクスペリエンスを提供できる一方で、新しいアプリは健康とフィットネスに対する新たな可能性も示します。単に歩数を数えるだけでなく、全身の姿勢を確認できるため、運動時のフォームが正しいかどうかを確認できます。新しいアプリは、医師が患者の可動性、活動レベル、歩行を分析するのにも役立つ可能性がある。アフジャ氏はまた、この技術が屋外でのみ機能する GPS の現在の弱点である屋内ナビゲーションにも使用できると想像しています。

「現在、医師は患者の移動状況を歩数計で追跡しています」とアフジャ氏は言う。「それはちょっと悲しいことですよね。私たちの携帯電話はローマの気温を計算できます。携帯電話は私たち自身の体についてよりも外の世界についてもっと知っています。私たちは携帯電話が単なるインテリジェントな歩数計以上のものになることを望んでいます。携帯電話は、次のことを検出できる必要があります。」さまざまなアクティビティでポーズを決め、より積極的なアシスタントになりましょう。」

他の研究者がこの研究に基づいて構築することを奨励するために、アフジャのチームは次のことを行いました。事前トレーニング済みモデルをリリース、オープンソース ソフトウェアとしてのデータ前処理スクリプトとモデル トレーニング コード。アフジャ氏はまた、このアプリはiPhone、AirPods、Apple Watchでも間もなく利用可能になる予定だと述べた。

詳細情報:Vasco Xu 他、MobilePoser: モバイル コンシューマ デバイスの IMU からのリアルタイム全身姿勢推定と 3D 人間の翻訳、ユーザー インターフェイス ソフトウェアとテクノロジに関する第 37 回 ACM 年次シンポジウムの議事録（2024年）。DOI: 10.1145/3654777.3676461