神經形態視覺感測器是獨特的感測設備，可以自動響應環境變化，例如周圍環境的不同亮度。這些感測器模仿人類神經系統的功能，人為複製感覺神經元優先響應感知環境變化的能力。

通常，這些感測器僅捕獲場景中的動態運動，然後將其饋送到計算單元，計算單元將分析它們並嘗試識別它們是什麼。在這些系統設計中，處理它們收集的資料的感測器和計算單元在物理上是分開的，可能會在處理感測器資料時產生時間延遲，同時也會消耗更多的電量。

香港理工大學、華中科技大學和香港科技大學的研究人員最近開發了新型事件驅動視覺感測器，可以捕捉動態運動，並將其轉換為可編程尖峰訊號。這些感測器在論文中介紹發表在自然電子學，無需將數據從感測器傳輸到計算單元，從而在分析捕獲的動態運動時實現更好的能源效率和更快的速度。

「近感測器和感測器內運算架構透過直接在感測終端附近或內部執行運算任務，有效降低資料傳輸延遲和功耗，」該論文的合著者 Yang Chai 告訴 Tech Xplore。“我們的研究小組致力於研究用於近感測器和感測器內計算的新興定制設備。然而，我們發現現有的工作集中在傳統的基於框架的感測器上，這些感測器會產生大量冗餘數據。”

人工神經網路（ANN）發展的最新進展為神經形態感測設備和影像辨識系統的發展帶來了新的機會。作為最近研究的一部分，Chai 和他們的同事著手探索將基於事件的感測器與尖峰相結合的潛力神經網路（SNN），模仿神經元放電模式的人工神經網路。柴說：“基於事件的感測器和尖峰神經網路（SNN）相結合進行運動分析可以有效減少冗餘數據並有效識別運動。”

“因此，我們提出了具有兩個光電二極體像素的硬體架構，具有基於事件的傳感器和突觸的功能，可以實現傳感器內 SNN。”

Chai 和他的同事開發的新型運算事件驅動視覺感測器能夠進行基於事件的感測和執行計算。這些感測器本質上是響應本地記錄像素的亮度和光強度的變化而產生可編程尖峰。

Chai 解釋說：“事件驅動特性是透過使用具有相反光響應和不同光響應時間的兩個分支來產生事件驅動尖峰訊號來實現的。”“突觸特性是透過具有不同光響應度的光電二極體實現的，可以精確調製尖峰訊號的幅度，模擬 SNN 中的不同突觸權重。”

研究人員在一系列初步測試中評估了他們的感測器，發現它們有效地模擬了大腦中的神經元適應視覺場景變化的過程。值得注意的是，這些感測器減少了感測器將收集的資料量，同時也消除了將該資料傳輸到外部運算單元的需要。

「我們的工作提出了一種透過捕捉局部像素級來感知和處理場景的方法光強度Chai 說：「這種設計結合了基於事件的感測器和感測器內運算的優點，適用於即時的動態資訊處理，例如自動駕駛和智慧機器人。

未來，Chai 和他的同事開發的計算事件驅動的視覺感測器可以進一步開發並在額外的實驗中進行測試，以進一步評估它們在現實世界應用中的價值。此外，最近的這項工作可以為其他研究小組提供靈感，從而有可能為結合基於事件的新感測技術鋪平道路。感應器和 SNN。柴補充道：“未來，我們團隊將專注於陣列級實現以及計算感測器陣列與CMOS電路的集成技術，以展示完整的傳感器內計算系統。”

“此外，我們將嘗試開發基準來定義不同應用的設備指標要求，並以定量的方式評估感測器內計算系統的性能。”

© 2023 Science X 網絡