一か八かの航空の世界では、ストレス下でパイロットがパフォーマンスを発揮できるかどうかが、安全な飛行か災害の分かれ目となる可能性があります。このような困難な状況に対処するために必要なスキルをパイロットに身に付けるには、包括的で正確な訓練が不可欠です。

パイロット トレーナーは、拡張現実 (AR) システムを利用してさまざまなシナリオを通じてパイロットをガイドし、適切な行動を学習します。しかし、これらのシステムは、個々の被験者の精神状態に合わせて調整された場合に最も効果的に機能します。

HuBar は、実行者の行動と認知ワークロードの分析を通じて、AR ガイドによる模擬飛行などの AR でのタスク パフォーマンス セッションを要約および比較するように設計された新しいビジュアル分析ツールです。

パイロットの行動に関する深い洞察を提供することで、精神状態, HuBar を使用すると、研究者やトレーナーはパターンを特定し、困難な領域を特定し、AR 支援トレーニング プログラムを最適化して、学習成果と現実世界のパフォーマンスを向上させることができます。

HuBar はニューヨーク大学タンドン工学部の研究チームによって開発され、この研究チームは2024 IEEE ビジュアライゼーションおよびビジュアル分析カンファレンス2024 年 10 月 17 日。

"その間パイロット訓練「HuBar は潜在的なユースケースの 1 つであり、HuBar は航空用途だけではありません」と、ノースロップ グラマン コーポレーション (NGC) との協力で研究を主導したニューヨーク大学タンドン研究所コンピュータ科学工学 (CSE) 部門教授のクラウディオ シルバ氏は説明しました。AR 支援タスクからの多様なデータを視覚化し、この包括的な分析により、さまざまな複雑なシナリオにわたってパフォーマンスと学習成果の向上につながります。」

ニューヨーク大学の視覚化・データ分析研究センター (VIDA) の共同所長でもあるシルバ氏は、「HuBar は外科、軍事作戦、産業任務の訓練を改善するのに役立つ可能性がある」と付け加えた。

チームは論文でHuBarを紹介しました登場するでarXivプレプリント サーバー。航空を利用してその機能を実証します。ケーススタディ、AR飛行シミュレーションで複数のヘリコプター副操縦士からのデータを分析します。チームはシステムに関するビデオも作成しました。

2 人のパイロット被験者に焦点を当てたシステムでは、顕著な違いが明らかになりました。1 人の被験者は、エラーがほとんどなくほぼ最適な注意状態を維持していましたが、もう 1 人は負荷が低い状態に陥り、頻繁に間違いを犯しました。

HuBar がビデオ映像を含む詳細な分析を行ったところ、成績の悪い副操縦士が頻繁にマニュアルを参照しており、業務に精通していないことが判明した。最終的に、HuBar を使用すると、トレーナーは副操縦士が苦労している特定の領域を特定してその理由を理解できるようになり、AR 支援トレーニング プログラムを改善するための洞察が得られます。

HuBar のユニークな点は、複雑なデータの複数のストリームを同時に統合して視覚化しながら、さまざまなステップ シーケンスが成功につながる可能性がある非線形タスクを分析できることです。

これには以下が含まれます脳活動(fNIRS)、体の動き(IMU)、視線追跡、タスク手順、エラー、精神的作業負荷の分類。HuBar の包括的なアプローチにより、AR 支援タスクにおける実行者の行動の総合的な分析が可能になり、研究者やトレーナーは、さまざまなタスク完了パスにわたる認知状態、身体的動作、およびタスクのパフォーマンスの間の相関関係を特定できるようになります。

また、HuBar のインタラクティブな視覚化システムは、さまざまなセッションや出演者間の比較を容易にし、従来の分析方法では気づかなかった複雑で非連続的な手順のパターンや異常を識別することを可能にします。

VIDA リサーチ エンジニアのソニア カステロ博士は、「作業中に人が精神的に過負荷になったり、危険なほど過負荷になったりする時期と理由を正確に把握できるようになりました」と述べています。VIDA の学生であり、HuBar 論文の主著者。

「この種の詳細な分析は、これほど広範なアプリケーションにわたってこれまで不可能でした。これは、タスク中に人の心と体を X 線で観察し、個人のニーズに合わせて AR 支援システムを調整するための情報を提供するようなものです。ユーザー。"

Microsoft Hololens、Meta Quest、Apple Vision Pro などのヘッドセットを含む AR システムがより洗練され、どこにでも普及するにつれて、HuBar のようなツールは、これらのテクノロジーが人間のパフォーマンスや認知負荷にどのような影響を与えるかを理解するために重要になります。

「次世代の AR トレーニング システムは、ユーザーの精神状態に基づいてリアルタイムで適応する可能性があります」と、ジョアン・ルフ博士は述べています。プロジェクトに取り組んだ VIDA の学生。「HuBar は、多様なアプリケーションや複雑なタスク構造にわたってそれがどのように機能するかを正確に理解するのに役立ちます。」