在高風險的航空世界中，飛行員在壓力下的表現能力可能意味著安全飛行和災難之間的差異。全面而精確的訓練對於讓飛行員具備處理這些具有挑戰性的情況所需的技能至關重要。

飛行員培訓師依靠擴增實境 (AR) 系統進行教學，指導飛行員完成各種場景，以便他們學習適當的動作。但是，當這些系統根據個別受試者的心理狀態進行客製化時，它們的效果最好。

HuBar 是一種新穎的視覺化分析工具，旨在透過分析執行者行為和認知工作量來總結和比較 AR 中的任務績效會話（例如 AR 引導的模擬飛行）。

透過提供對飛行員行為的深入洞察精神狀態HuBar 使研究人員和培訓師能夠識別模式、找出困難領域並優化 AR 輔助培訓計劃，以改善學習成果和現實世界表現。

HuBar 由紐約大學 Tandon 工程學院的研究團隊開發，該團隊將在2024 IEEE 視覺化與視覺分析會議2024 年 10 月 17 日。

「儘管飛行員培訓紐約大學坦登研究所計算機科學與工程(CSE) 系教授克勞迪奧·席爾瓦(Claudio Silva) 解釋道，HuBar 是一個潛在的用例，HuBar 不僅僅適用於航空。格魯曼公司(NGC) 合作領導了這項研究。

「HuBar 可以幫助改善手術、軍事行動和工業任務的培訓，」席爾瓦補充道，他也是紐約大學視覺化和數據分析研究中心 (VIDA) 的聯合主任。

團隊在論文中介紹了 HuBar出現在arXiv預印本伺服器，展示其使用航空作為案例研究，在 AR 飛行模擬中分析來自多名直升機副駕駛的數據。該團隊還製作了有關該系統的影片。

該系統以兩名試點受試者為中心，顯示出顯著的差異：一名受試者幾乎保持最佳注意力狀態，幾乎沒有錯誤，而另一名受試者則經歷了低負荷狀態並常犯錯。

HuBar 的詳細分析（包括影片片段）顯示，表現不佳的副駕駛經常查閱手冊，這表明他對任務的熟悉程度較低。最終，HuBar 可以幫助訓練師找出副駕駛遇到困難的特定領域並了解原因，從而提供改進 AR 輔助訓練計畫的見解。

HuBar 的獨特之處在於它能夠分析非線性任務，其中不同的步驟序列可以導致成功，同時整合和視覺化多個複雜資料流。

這包括大腦活動（近紅外光譜），身體動作(IMU)、視線追蹤、任務程序、錯誤和腦力負荷分類。HuBar 的綜合方法可以對 AR 輔助任務中的執行者行為進行整體分析，使研究人員和訓練師能夠識別各種任務完成路徑中的認知狀態、身體動作和任務表現之間的相關性。

HuBar 的互動式視覺化系統也有助於對不同會話和執行者進行比較，從而能夠辨別複雜、非順序程序中的模式和異常，而這些模式和異常在傳統分析方法中可能會被忽略。

VIDA 研究工程師、博士 Sonia Castelo 表示：“我們現在可以準確地了解一個人在執行任務期間何時以及為何可能會精神超負荷或危險地負荷過低。”VIDA 的學生，HuBar 論文的主要作者。

「這種詳細的分析在如此廣泛的應用中是以前從未實現過的。這就像在任務期間對一個人的思想和身體進行X 射線視覺，提供資訊來定制AR 輔助系統，以滿足個人的需求用戶。

隨著 AR 系統（包括 Microsoft Hololens、Meta Quest 和 Apple Vision Pro 等耳機）變得更加複雜和普及，HuBar 等工具對於了解這些技術如何影響人類表現和認知負荷至關重要。

「下一代 AR 訓練系統可能會根據使用者的心理狀態進行即時調整，」博士 Joao Rulff 說。參與該計畫的 VIDA 學生。“HuBar 正在幫助我們準確地了解它如何在不同的應用程式和複雜的任務結構中發揮作用。”