노스웨스턴 대학교 엔지니어들은 전신 모션 캡처를 위한 새로운 시스템을 개발했습니다. 이 시스템에는 특수 공간, 값비싼 장비, 부피가 큰 카메라 또는 일련의 센서가 필요하지 않습니다.

대신 간단한 모바일 장치가 필요합니다.

MobilePoser라고 불리는 이 새로운 시스템은 스마트폰, 스마트 시계, 무선 이어버드 등 소비자 모바일 장치에 이미 내장된 센서를 활용합니다.다음의 조합을 사용하여센서 데이터, 기계 학습 및 물리학을 갖춘 MobilePoser는 사람의 전신 자세와 공간에서의 전역 변환을 실시간으로 정확하게 추적합니다.

"모바일 장치에서 실시간으로 실행되는 MobilePoser는 고급 기술을 통해 최첨단 정확도를 달성합니다.기계 학습연구를 주도한 Northwestern의 Karan Ahuja는 "물리 기반 최적화를 통해 특수 장비 없이도 게임, 피트니스 및 실내 내비게이션의 새로운 가능성을 열 수 있습니다."라고 말했습니다. "이 기술은 모바일 모션 캡처를 향한 중요한 도약을 의미하며 몰입형 경험을 보다 쉽게 ​​접근할 수 있고다양한 산업 분야에 걸쳐 혁신적인 애플리케이션을 위한 문을 열어줍니다."

Ahuja 팀은 10월 15일에 MobilePoser를 공개할 예정입니다.2024 ACM 사용자 인터페이스 소프트웨어 및 기술 심포지엄피츠버그에서."MobilePoser: 모바일 소비자 장치의 IMU에서 실시간 전신 포즈 추정 및 3D 인간 번역"은 "입력으로서의 포즈" 세션의 일부로 진행됩니다.

전문가인간-컴퓨터 상호작용, Ahuja는 Northwestern McCormick School of Engineering의 컴퓨터 공학과 Lisa Wissner-Slivka 및 Benjamin Slivka 조교수로 SPICE(Sensing, Perception, Interactive Computing and Experience) 연구소를 이끌고 있습니다.

현재 시스템의 한계

대부분의 영화 애호가들은 비하인드 스토리 영상에서 종종 드러나는 모션 캡처 기술에 익숙합니다.'반지의 제왕'의 골룸이나 '아바타'의 나비와 같은 CGI 캐릭터를 만들기 위해 배우들은 몸에 꼭 맞는 슈트를 입고 센서로 덮인 특수 방을 돌아다닙니다.컴퓨터는 센서 데이터를 캡처한 다음 배우의 움직임과 미묘한 표정을 표시합니다.

Ahuja는 "이것은 모션 캡처의 표준이지만 해당 설정을 실행하는 데 100,000달러 이상의 비용이 듭니다"라고 말했습니다."우리는 기본적으로 누구나 이미 가지고 있는 장비를 사용하여 사용할 수 있는 접근 가능하고 민주화된 버전을 개발하고 싶었습니다."

예를 들어 Microsoft Kinect와 같은 다른 동작 감지 시스템은 신체 움직임을 보는 고정 카메라를 사용합니다.사람이 카메라 시야 내에 있으면 이러한 시스템이 잘 작동합니다.그러나 모바일이나 이동 중인 애플리케이션에는 실용적이지 않습니다.

포즈 예측

이러한 한계를 극복하기 위해 Ahuja 팀은 가속도계, 자이로스코프, 자력계 등의 센서 조합을 사용하여 신체의 움직임과 방향을 측정하는 시스템인 관성 측정 장치(IMU)를 선택했습니다.

이러한 센서는 이미 스마트폰 및 기타 장치에 내장되어 있지만 정확한 모션 캡처 애플리케이션에는 충실도가 너무 낮습니다.성능을 향상시키기 위해 Ahuja 팀은 고품질 모션 캡처 데이터에서 생성된 합성 IMU 측정의 공개적으로 사용 가능한 대규모 데이터 세트를 사용하여 교육한 맞춤형 다단계 인공 지능(AI) 알고리즘을 추가했습니다.

MobilePoser는 센서 데이터를 통해 가속도 및 신체 방향에 대한 정보를 얻습니다.그런 다음 관절 위치와 관절 회전, 걷는 속도와 방향, 사용자의 발과 지면 사이의 접촉을 추정하는 AI 알고리즘을 통해 이 데이터를 제공합니다.

마지막으로 MobilePoser는 물리 기반 최적화 프로그램을 사용하여 예측된 움직임을 구체화하여 실제 신체 움직임과 일치하는지 확인합니다.예를 들어 실생활에서는 관절이 뒤로 구부러질 수 없고 머리도 360도 회전할 수 없습니다.물리 최적화 기능은 캡처된 모션이 물리적으로 불가능한 방식으로 움직일 수 없도록 보장합니다.

결과 시스템의 추적 오류는 8~10cm에 불과합니다.비교를 위해 Microsoft Kinect의 추적 오류는 사용자가 카메라 시야 내에 있다고 가정할 때 4~5cm입니다.MobilePoser를 사용하면 사용자는 자유롭게 로밍할 수 있습니다.

Ahuja는 "손목에 스마트워치를 착용하고 주머니에 스마트폰을 넣는 등 사람이 두 개 이상의 장치를 착용할 때 정확도가 더 좋습니다."라고 말했습니다."하지만 시스템의 핵심 부분은 적응력이 있다는 것입니다. 하루에 시계가 없고 휴대폰만 있어도 시스템이 적응하여 전신 자세를 파악할 수 있습니다."

잠재적인 사용 사례

MobilePoser는 게이머에게 더욱 몰입도 높은 경험을 제공할 수 있을 뿐만 아니라, 새로운 앱은 건강과 피트니스에 대한 새로운 가능성도 제시합니다.단순히 걸음수를 세는 것을 넘어 사용자의 전신 자세를 확인할 수 있어 운동 시 자세가 올바른지 확인할 수 있습니다.새로운 앱은 또한 의사가 환자의 이동성, 활동 수준 및 보행을 분석하는 데 도움이 될 수 있습니다.Ahuja는 또한 이 기술이 실외에서만 작동하는 GPS의 현재 약점인 실내 내비게이션에도 사용될 수 있다고 상상합니다.

Ahuja는 "현재 의사들은 만보계를 이용해 환자의 이동성을 추적하고 있습니다."라고 말했습니다."그건 좀 슬픈 일이군요. 그렇죠? 우리 휴대폰은 로마의 온도를 계산할 수 있습니다. 휴대폰은 우리 몸보다 외부 세계에 대해 더 많이 알고 있습니다. 우리는 휴대폰이 단순한 지능형 만보기 그 이상의 역할을 하길 바랍니다. 휴대폰은 감지할 수 있어야 합니다.다양한 활동을 하고, 포즈를 결정하고, 보다 적극적으로 보조자가 되어 보세요."

다른 연구자들이 이 연구를 기반으로 하도록 장려하기 위해 Ahuja 팀은사전 훈련된 모델을 출시했습니다., 데이터 전처리 스크립트 및 모델 교육 코드를 오픈 소스 소프트웨어로 제공합니다.Ahuja는 또한 이 앱이 곧 iPhone, AirPods 및 Apple Watch에서 제공될 것이라고 말했습니다.

추가 정보:Vasco Xu 외, MobilePoser: 모바일 소비자 장치의 IMU에서 실시간 전신 자세 추정 및 3D 인간 번역,사용자 인터페이스 소프트웨어 및 기술에 관한 제37회 연례 ACM 심포지엄 진행(2024).DOI: 10.1145/3654777.3676461