在高风险的航空世界中，飞行员在压力下的表现能力可能意味着安全飞行和灾难之间的区别。全面而精确的培训对于让飞行员具备处理这些具有挑战性的情况所需的技能至关重要。

飞行员培训师依靠增强现实 (AR) 系统进行教学，指导飞行员完成各种场景，以便他们学习适当的动作。但是，当这些系统根据个体受试者的心理状态进行定制时，它们的效果最好。

HuBar 是一种新颖的可视化分析工具，旨在通过分析执行者行为和认知工作量来总结和比较 AR 中的任务绩效会话（例如 AR 引导的模拟飞行）。

通过提供对飞行员行为的深入洞察精神状态HuBar 使研究人员和培训师能够识别模式、查明困难领域并优化 AR 辅助培训计划，以改善学习成果和现实世界表现。

HuBar 由纽约大学 Tandon 工程学院的一个研究团队开发，该团队将在2024 IEEE 可视化与视觉分析会议2024 年 10 月 17 日。

“尽管飞行员培训纽约大学坦登研究所计算机科学与工程 (CSE) 系教授克劳迪奥·席尔瓦 (Claudio Silva) 解释道，HuBar 是一个潜在的用例，HuBar 不仅仅适用于航空。他与诺斯罗普·格鲁曼公司 (NGC) 合作领导了这项研究。“HuBar可视化来自 AR 辅助任务的各种数据，这种全面的分析可以提高各种复杂场景中的表现和学习成果。”

“HuBar 可以帮助改善手术、军事行动和工业任务的培训，”席尔瓦补充道，他也是纽约大学可视化和数据分析研究中心 (VIDA) 的联合主任。

团队在论文中介绍了 HuBar出现在arXiv预印本服务器，展示其使用航空作为案例研究，在 AR 飞行模拟中分析来自多名直升机副驾驶的数据。该团队还制作了有关该系统的视频。

该系统以两名试点受试者为中心，显示出显着的差异：一名受试者几乎保持最佳注意力状态，几乎没有错误，而另一名受试者则经历了低负荷状态并经常犯错误。

HuBar 的详细分析（包括视频片段）显示，表现不佳的副驾驶经常查阅手册，这表明他对任务的熟悉程度较低。最终，HuBar 可以帮助培训师查明副驾驶遇到困难的特定领域并了解原因，从而提供改进 AR 辅助培训计划的见解。

HuBar 的独特之处在于它能够分析非线性任务，其中不同的步骤序列可以导致成功，同时集成和可视化多个复杂数据流。

这包括大脑活动（近红外光谱），身体动作(IMU)、视线跟踪、任务程序、错误和脑力负荷分类。HuBar 的综合方法可以对 AR 辅助任务中的执行者行为进行整体分析，使研究人员和培训师能够识别各种任务完成路径中的认知状态、身体动作和任务表现之间的相关性。

HuBar 的交互式可视化系统还有助于对不同会话和执行者进行比较，从而能够辨别复杂、非顺序程序中的模式和异常，而这些模式和异常在传统分析方法中可能会被忽视。

VIDA 研究工程师、博士 Sonia Castelo 表示：“我们现在可以准确地了解一个人在执行任务期间何时以及为何可能会精神超负荷或危险地负荷过低。”VIDA 的学生，HuBar 论文的主要作者。

“这种详细的分析在如此广泛的应用中是以前从未实现过的。这就像在执行任务期间对一个人的思想和身体进行 X 射线视觉，提供信息来定制 AR 辅助系统，以满足个人的需求用户。”

随着 AR 系统（包括 Microsoft Hololens、Meta Quest 和 Apple Vision Pro 等耳机）变得更加复杂和普及，HuBar 等工具对于了解这些技术如何影响人类表现和认知负荷至关重要。

“下一代 AR 训练系统可能会根据用户的心理状态进行实时调整，”博士 Joao Rulff 说。参与该项目的 VIDA 学生。“HuBar 正在帮助我们准确了解它如何在不同的应用程序和复杂的任务结构中发挥作用。”