傳感器內（in-sensor）處理視覺目標的動態和靜態信息，可以避免在物理上分離的傳感和計算單元之間交換冗余數據，為計算機視覺硬件帶來新希望。為此，柵極可調光電探測器如果以高度可擴展的陣列形式制造，將適合大規模傳感內視覺處理，因為它們具有批量生產和并行操作的潛力。
據麥姆斯咨詢報道，馬薩諸塞大學阿默斯特分校的研究人員為推動計算機視覺的發展，開發了一種新型硅基硬件，可以捕捉并處理模擬域的視覺數據。他們的研究成果已經以“Parallelizing analog in-sensor visual processing with arrays of gate-tunable silicon photodetectors”為題發表在Nature Communications期刊上，有望為大規模、對延遲敏感的數據密集型計算機視覺任務提供有力支持。
馬薩諸塞大學阿默斯特分校電氣與計算機工程系副教授兼生物醫學工程系兼職副教授 Guangyu Xu 說：“這是一種非常強大的視網膜仿生硬件。在器件層面融合了傳感單元和處理單元，而非將它們物理分離，這種設置與人類眼睛處理視覺世界的方式非常相似。”
現有的計算機視覺系統通常需要在物理上分離的傳感和計算單元之間交換冗余數據。
傳感器內視覺處理陣列由硅制成，可以在模擬域中同時捕獲并處理視覺數據，而這些功能在傳統系統中往往是物理分離的。
Guangyu Xu說：“例如，智能手機上的攝像頭可以捕捉視野中的每一個像素數據。”
然而，圖像中的信息量超出了系統識別物體或其運動所需要的信息量。因此，傳輸和處理這些額外信息所需要的時間會使理解捕捉到的視覺信息滯后，而這種信息通常具有時間敏感性和數據密集性。
Guangyu Xu說：“我們的技術正試圖縮短從感知物理世界到識別捕捉內容之間的時間延遲。”
柵極可調光響應的微型雙柵極硅光電探測器
Guangyu Xu及其團隊構建了兩個集成的柵極可調硅光電探測器陣列，即傳感器內視覺處理陣列。它們共享雙極模擬輸出和低功耗運行，一個陣列可以捕捉動態視覺信息，例如事件驅動（event-driven）的光線變化，另一個陣列可以捕捉靜態圖像中的空間特征，以識別物體是什么。
在復雜環境中識別人體運動是計算機視覺的一項經典挑戰，研究人員開發的模擬技術能夠以90%的準確率完成任務，優于數字技術。
擴大這些硅陣列為視網膜形態計算和智能傳感帶來了希望。在動態運動方面，當被要求對復雜環境中的人體運動（行走、拳擊、揮手和鼓掌）進行分類時，新的模擬技術的準確率達到了90%，而數字技術的準確率為77.5%至85%。對于靜態圖像，這種模擬技術對手寫數字的分類準確率達到95%，超過了沒有傳感器內計算能力的方法（90%）。
這些陣列的一個獨特之處在于它們由全硅制成，與計算機芯片使用的材料相同，而以前的傳感器內視覺處理器大多是由納米材料制成。因此，這些陣列與現有CMOS工藝更兼容，而 CMOS 是最常用的半導體技術，可用于在計算機和存儲芯片等各種電子器件中構建集成電路。這種兼容性使它們特別適合大規模計算機視覺任務，在這類任務中，許多進程同時執行，即高并行性。
Guangyu Xu說：“我們的全硅技術適合CMOS集成、大規模生產和大規模陣列運行，并且變異性低，我們認為這會成為該領域的一大飛躍。”
Guangyu Xu舉例說明了這項工作的潛在應用領域。首先是自動駕駛汽車，該應用必須實時處理車輛周圍的情況以及它們的移動速度。任何處理時間上的縮短都能提高自動駕駛汽車的安全性。
另一個受益領域是生物成像。目前的技術所獲取的數據可能遠遠超出實際需要。Guangyu Xu表示：“我們可以在壓縮數據量的同時，為科學家提供同樣的生物學洞察。”
論文鏈接：
https://doi.org/10.1038/s41467-025-60006-x
延伸閱讀：
《量子點光電傳感器專利態勢分析-2024版》
《蘋果在量子點光電傳感器領域的發明專利與產業布局分析》
《新興圖像傳感器技術及市場-2024版》
《自動駕駛及艙內感知應用的紅外相機技術及市場-2025版》
《光譜成像市場和趨勢-2022版》
《小型、微型和芯片級光譜儀技術及市場-2020版》
