뉴로모픽 비전 센서는 주변 환경의 밝기 차이와 같은 환경 변화에 자동으로 반응하는 독특한 감지 장치입니다.이러한 센서는 인간의 신경계 기능을 모방하여 감지된 환경의 변화에 ​​우선적으로 반응하는 감각 뉴런의 능력을 인위적으로 복제합니다.

일반적으로 이러한 센서는 장면의 동적 동작만 캡처한 다음 이를 분석하고 인식하려고 시도하는 계산 장치에 입력됩니다.수집한 데이터를 처리하는 센서와 계산 장치가 물리적으로 분리되어 있는 이러한 시스템 설계는 센서 데이터 처리에 시간 지연을 발생시키는 동시에 더 많은 전력을 소비할 수 있습니다.

홍콩 폴리테크닉 대학교(Hong Kong Polytechnic University), 화중 과학 기술 대학교(Huazhong University of Science and Technology) 및 홍콩 과학 기술 대학교(Hong Kong University of Science and Technology)의 연구원들은 최근 동적 모션을 포착하고 이를 프로그래밍 가능한 스파이크 신호로 변환할 수 있는 새로운 이벤트 기반 비전 센서를 개발했습니다.논문에 소개된 이러한 센서출판됨~에자연 전자, 센서에서 계산 장치로 데이터를 전송할 필요가 없으므로 캡처된 동적 동작을 분석할 때 에너지 효율성이 향상되고 속도가 빨라집니다.

"근거리 센서 및 센서 내 컴퓨팅 아키텍처는 감각 터미널 근처 또는 내부에서 직접 계산 작업을 수행함으로써 데이터 전송 대기 시간과 전력 소비를 효율적으로 줄입니다."라고 논문의 공동 저자인 Yang Chai는 Tech Xplore에 말했습니다."우리 연구 그룹은 근접 센서 및 센서 내 컴퓨팅을 위한 새로운 맞춤형 장치 연구에 전념하고 있습니다. 그러나 기존 작업은 많은 중복 데이터를 생성하는 기존 프레임 기반 센서에 중점을 두고 있다는 것을 발견했습니다."

최근 인공 신경망(ANN) 개발의 발전으로 뉴로모픽 감지 장치 및 이미지 인식 시스템 개발에 새로운 기회가 열렸습니다.최근 연구의 일환으로 Chai와 동료들은 이벤트 기반 센서를 스파이킹과 결합하는 가능성을 탐구하기 시작했습니다.신경망(SNN), 뉴런의 발사 패턴을 모방하는 ANN입니다.Chai 연구원은 “이벤트 기반 센서와 모션 분석용 스파이킹 신경망(SNN)을 결합하면 중복 데이터를 효과적으로 줄이고 모션을 효율적으로 인식할 수 있습니다.”라고 말했습니다.

"따라서 우리는 센서 내 SNN을 달성할 수 있는 이벤트 기반 센서와 시냅스의 기능을 모두 갖춘 2개의 포토다이오드 픽셀을 갖춘 하드웨어 아키텍처를 제안합니다."

Chai와 그의 동료들이 개발한 새로운 계산 이벤트 기반 비전 센서는 이벤트 기반 감지와 계산 수행이 모두 가능합니다.이러한 센서는 기본적으로 로컬로 기록된 픽셀의 밝기 및 광도 변화에 따라 프로그래밍 가능한 스파이크를 생성합니다.

"이벤트 중심 특성은 이벤트 중심 스파이킹 신호를 생성하는 서로 반대되는 사진 응답 및 서로 다른 사진 응답 시간을 갖는 두 개의 분기를 사용하여 달성됩니다."라고 Chai는 설명했습니다."시냅스 특성은 스파이크 신호의 진폭을 정밀하게 변조할 수 있는 다양한 광 반응성을 갖는 포토다이오드에 의해 실현되며, SNN에서 다양한 시냅스 가중치를 에뮬레이트합니다."

연구자들은 일련의 초기 테스트에서 센서를 평가한 결과 뇌의 뉴런이 시각적 장면의 변화에 ​​적응하는 과정을 효과적으로 에뮬레이션한다는 사실을 발견했습니다.특히, 이러한 센서는 센서가 수집하는 데이터의 양을 줄이는 동시에 이 데이터를 외부 계산 장치로 전송할 필요성도 제거합니다.

"우리 작업은 로컬 픽셀 수준을 캡처하여 시나리오를 감지하고 처리하는 방법을 제안합니다.빛의 강도Chai는 “변화를 통해 기존 ANN 대신 센서 내 SNN을 실현할 수 있다”며 “이러한 설계는 이벤트 기반 센서와 센서 내 컴퓨팅의 장점을 결합한 것입니다.실시간자율주행, 지능로봇 등 역동적인 정보처리'를 의미한다.

앞으로 Chai와 그의 동료들이 개발한 계산 이벤트 기반 비전 센서는 추가로 개발되고 추가 실험을 통해 테스트되어 실제 응용 프로그램에 대한 가치를 더욱 평가할 수 있습니다.또한, 이 최근 연구는 다른 연구 그룹에 영감을 주어 잠재적으로 이벤트 기반을 결합한 새로운 감지 기술의 길을 열 수 있습니다.센서그리고 SNN."앞으로 우리 그룹은 완전한 인센서 컴퓨팅 시스템을 시연하기 위해 어레이 수준 구현과 계산 센서 어레이 및 CMOS 회로의 통합 기술에 중점을 둘 것입니다."라고 Chai는 덧붙였습니다.

"또한 다양한 애플리케이션에 대한 장치 메트릭 요구 사항을 정의하고 센서 내 컴퓨팅 시스템의 성능을 정량적으로 평가하기 위한 벤치마크를 개발하려고 노력할 것입니다."

© 2023 사이언스 X 네트워크