En el mundo de la aviación, donde hay mucho en juego, la capacidad de un piloto para desempeñarse bajo estrés puede significar la diferencia entre un vuelo seguro y un desastre.Una formación integral y precisa es crucial para dotar a los pilotos de las habilidades necesarias para manejar estas situaciones desafiantes.

Los formadores de pilotos confían en sistemas de realidad aumentada (AR) para la enseñanza, guiando a los pilotos a través de varios escenarios para que aprendan las acciones adecuadas.Pero esos sistemas funcionan mejor cuando se adaptan a los estados mentales del sujeto individual.

Ingrese a HuBar, una novedosa herramienta de análisis visual diseñada para resumir y comparar sesiones de desempeño de tareas en AR (como vuelos simulados guiados por AR) a través del análisis del comportamiento del artista y la carga de trabajo cognitiva.

Al proporcionar conocimientos profundos sobre el comportamiento del piloto yestados mentales, HuBar permite a investigadores y formadores identificar patrones, señalar áreas de dificultad y optimizar los programas de formación asistidos por AR para mejorar los resultados del aprendizaje y el rendimiento en el mundo real.

HuBar fue desarrollado por un equipo de investigación de la Escuela de Ingeniería Tandon de la Universidad de Nueva York que lo presentará en laConferencia de visualización y análisis visual IEEE 2024el 17 de octubre de 2024.

"Mientrasentrenamiento piloto"HuBar no es solo para la aviación", explicó Claudio Silva, profesor del Instituto Tandon de la Universidad de Nueva York en el Departamento de Ingeniería y Ciencias de la Computación (CSE), quien dirigió la investigación con la colaboración de Northrop Grumman Corporation (NGC).visualiza diversos datos de tareas asistidas por AR, y este análisis integral conduce a un mejor rendimiento y resultados de aprendizaje en varios escenarios complejos".

"HuBar podría ayudar a mejorar la formación en cirugía, operaciones militares y tareas industriales", añadió Silva, quien también es codirector del Centro de Investigación de Visualización y Análisis de Datos (VIDA) de la Universidad de Nueva York.

El equipo presentó HuBar en un artículo.apareciendoen elarXivservidor de preimpresión, que demuestra sus capacidades utilizando la aviación comoestudio de caso, analizando datos de múltiples copilotos de helicópteros en una simulación de vuelo AR.El equipo también produjo un vídeo sobre el sistema.

Centrándose en dos sujetos piloto, el sistema reveló diferencias sorprendentes: un sujeto mantuvo estados de atención en su mayoría óptimos con pocos errores, mientras que el otro experimentó estados de subcarga y cometió errores frecuentes.

El análisis detallado de HuBar, que incluye imágenes de vídeo, mostró que el copiloto de bajo rendimiento consultaba con frecuencia un manual, lo que indica menos familiaridad con la tarea.En última instancia, HuBar puede permitir a los formadores identificar áreas específicas en las que los copilotos tienen dificultades y comprender por qué, proporcionando información para mejorar los programas de formación asistidos por AR.

Lo que hace que HuBar sea único es su capacidad para analizar tareas no lineales en las que diferentes secuencias de pasos pueden conducir al éxito, al mismo tiempo que integra y visualiza múltiples flujos de datos complejos simultáneamente.

Esto incluyeactividad cerebral(fNIRS),movimientos corporales(IMU), seguimiento de la mirada, procedimientos de tareas, errores y clasificaciones de carga de trabajo mental.El enfoque integral de HuBar permite un análisis holístico del comportamiento del ejecutante en tareas asistidas por AR, lo que permite a investigadores y entrenadores identificar correlaciones entre estados cognitivos, acciones físicas y desempeño de tareas a lo largo de diversas rutas de finalización de tareas.

El sistema de visualización interactiva de HuBar también facilita la comparación entre diferentes sesiones y artistas, haciendo posible discernir patrones y anomalías en procedimientos complejos y no secuenciales que de otro modo podrían pasar desapercibidos en los métodos de análisis tradicionales.

"Ahora podemos ver exactamente cuándo y por qué una persona puede sufrir una sobrecarga mental o una subcarga peligrosa durante una tarea", afirmó Sonia Castelo, ingeniera de investigación de VIDA, Ph.D.estudiante de VIDA y autor principal del artículo de HuBar.

"Este tipo de análisis detallado nunca antes había sido posible en una gama tan amplia de aplicaciones. Es como tener una visión de rayos X de la mente y el cuerpo de una persona durante una tarea, entregando información para adaptar los sistemas de asistencia AR para satisfacer las necesidades de un individuo.usuario."

A medida que los sistemas AR (incluidos auriculares como Microsoft Hololens, Meta Quest y Apple Vision Pro) se vuelven más sofisticados y ubicuos, herramientas como HuBar serán cruciales para comprender cómo estas tecnologías afectan el desempeño humano y la carga cognitiva.

"La próxima generación de sistemas de entrenamiento de RA podría adaptarse en tiempo real en función del estado mental del usuario", dijo Joao Rulff, Ph.D.estudiante de VIDA que trabajó en el proyecto."HuBar nos está ayudando a comprender exactamente cómo podría funcionar esto en diversas aplicaciones y estructuras de tareas complejas".