위험이 큰 항공 세계에서 조종사가 스트레스 속에서도 수행할 수 있는 능력은 안전한 비행과 재난의 차이를 의미할 수 있습니다.조종사가 이러한 어려운 상황을 처리하는 데 필요한 기술을 갖추려면 포괄적이고 정확한 훈련이 중요합니다.

조종사 훈련사는 조종사가 적절한 행동을 배울 수 있도록 다양한 시나리오를 통해 조종사를 안내함으로써 교육을 위해 증강 현실(AR) 시스템을 사용합니다.그러나 이러한 시스템은 개별 피험자의 정신 상태에 맞게 조정될 때 가장 잘 작동합니다.

수행자 행동 및 인지 작업량 분석을 통해 AR 가이드 시뮬레이션 비행 등 AR의 작업 수행 세션을 요약하고 비교하도록 설계된 새로운 시각적 분석 도구인 HuBar를 만나보세요.

조종사의 행동과 행동에 대한 깊은 통찰력을 제공함으로써정신 상태, HuBar를 사용하면 연구원과 교육자는 패턴을 식별하고, 어려움이 있는 영역을 정확히 찾아내고, 향상된 학습 결과와 실제 성과를 위해 AR 지원 교육 프로그램을 최적화할 수 있습니다.

HuBar는 NYU Tandon School of Engineering의 연구팀이 개발했으며 이번 학회에서 발표할 예정입니다.2024 IEEE 시각화 및 시각적 분석 컨퍼런스2024년 10월 17일.

"하는 동안조종사 훈련Northrop Grumman Corporation(NGC)과 공동으로 연구를 주도한 NYU Tandon Institute 컴퓨터 과학 및 엔지니어링(CSE)학과 교수인 Claudio Silva는 "HuBar는 잠재적인 사용 사례 중 하나이지만 HuBar는 항공만을 위한 것이 아닙니다."라고 설명했습니다.AR 지원 작업의 다양한 데이터를 시각화하며, 이 포괄적인 분석을 통해 다양하고 복잡한 시나리오에서 향상된 성능과 학습 결과를 얻을 수 있습니다."

NYU VIDA(시각화 및 데이터 분석 연구 센터)의 공동 책임자이기도 한 Silva는 "HuBar는 수술, 군사 작전 및 산업 업무 분야의 훈련을 개선하는 데 도움이 될 수 있습니다."라고 덧붙였습니다.

팀은 논문에서 HuBar를 소개했습니다.나타나는에arXiv항공을 활용하여 그 능력을 입증하는 프리프린트 서버사례 연구, AR 비행 시뮬레이션에서 여러 헬리콥터 부조종사의 데이터를 분석합니다.팀은 또한 시스템에 대한 비디오를 제작했습니다.

두 명의 파일럿 주제에 초점을 맞춘 시스템은 눈에 띄는 차이점을 보여주었습니다. 한 주제는 오류가 거의 없이 대부분 최적의 주의 상태를 유지한 반면, 다른 주제는 부하 부족 상태를 경험하고 빈번한 실수를 저질렀습니다.

비디오 영상을 포함한 HuBar의 상세한 분석에 따르면 실적이 저조한 부조종사는 종종 매뉴얼을 참조하여 작업 친숙도가 낮음을 나타냅니다.궁극적으로 HuBar는 강사가 부조종사가 어려움을 겪는 특정 영역을 찾아내고 그 이유를 이해할 수 있도록 하여 AR 지원 교육 프로그램을 개선하기 위한 통찰력을 제공할 수 있습니다.

HuBar를 독특하게 만드는 것은 다양한 단계 시퀀스가 ​​성공으로 이어질 수 있는 비선형 작업을 분석하는 동시에 복잡한 데이터의 여러 스트림을 동시에 통합하고 시각화하는 능력입니다.

여기에는 다음이 포함됩니다뇌 활동(fNIRS),신체 움직임(IMU), 시선 추적, 작업 절차, 오류 및 정신 작업량 분류.HuBar의 포괄적인 접근 방식을 사용하면 AR 지원 작업에서 수행자 행동에 대한 전체적인 분석이 가능하므로 연구원과 교육자는 다양한 작업 완료 경로에서 인지 상태, 신체 활동, 작업 성과 간의 상관 관계를 식별할 수 있습니다.

HuBar의 대화형 시각화 시스템은 또한 다양한 세션과 수행자 간의 비교를 용이하게 하여 기존 분석 방법에서는 눈에 띄지 않을 수 있는 복잡하고 비순차적인 절차에서 패턴과 이상 현상을 식별할 수 있게 해줍니다.

VIDA 연구 엔지니어인 Sonia Castelo 박사는 "이제 우리는 작업 중에 사람이 정신적으로 과부하가 걸리거나 위험할 정도로 과부하가 걸릴 수 있는 시기와 이유를 정확히 알 수 있습니다."라고 말했습니다.VIDA 학생이자 HuBar 논문의 주요 저자입니다.

"이런 종류의 상세한 분석은 이렇게 광범위한 응용 분야에서 이전에는 가능하지 않았습니다. 마치 작업 중에 사람의 정신과 신체에 X-ray 비전을 제공하고 개인의 요구 사항을 충족하도록 AR 지원 시스템을 맞춤화하기 위해 정보를 전달하는 것과 같습니다.사용자."

Microsoft Hololens, Meta Quest 및 Apple Vision Pro와 같은 헤드셋을 포함한 AR 시스템이 더욱 정교해지고 보편화됨에 따라 HuBar와 같은 도구는 이러한 기술이 인간의 성능과 인지 부하에 어떤 영향을 미치는지 이해하는 데 중요합니다.

"차세대 AR 교육 시스템은 사용자의 정신 상태에 따라 실시간으로 적응할 수 있습니다"라고 Joao Rulff 박사는 말했습니다.프로젝트에 참여한 VIDA 학생입니다."HuBar는 다양한 애플리케이션과 복잡한 작업 구조에서 이것이 어떻게 작동할 수 있는지 정확하게 이해하는 데 도움을 줍니다."