在機器視覺系統中，CMOS圖像傳感器面臨著數據量激增、能效瓶頸和實時處理能力不足等挑戰。相比之下，人類視覺系統以極低的功耗完成從光信號感知到信息處理的全過程，成為仿生視覺計算的重要靈感來源。近日，清華大學電子工程系張沕琳和陳宏偉研究團隊在視覺感知計算領域取得重要進展，提出了一種名為NEOSTI（Neuromorphic Electronic-Opto Spatial-Temporal Imager）的神經形態光學-電子混合圖像傳感器。該傳感器集成了光學域感前處理、電學域感內計算與近感計算三大模塊，在無需特殊光源的條件下，可在室內外自然光環境中實現高效的圖像采集與處理。NEOSTI芯片尺寸僅為1.3cm × 1.3cm，具備極低的功耗和端到端的圖像語義信息處理能力，為具身智能、無人機、自動駕駛等邊緣智能場景提供了全新的視覺解決方案。
NEOSTI架構
NEOSTI的設計充分借鑒了生物視覺系統的結構與功能。其“感前-感內-近感”三級計算架構，分別模擬了人眼中晶狀體、視錐細胞和視覺皮層的處理機制。在光學域，通過固化在掩模上的二值卷積核，實現對入射場景的光學卷積運算，以零延遲、零功耗完成空間特征提取；在感內層面，采用脈沖寬度調制像素結構，模擬視網膜的非線性光強響應，并支持相鄰像素間的并行加減運算；在近感層面，片內集成了低復雜度的二值神經網絡，完成高層次的特征提取與分類任務。
實驗結果表明，NEOSTI在多個靜態與動態視覺任務中表現優異：MNIST手寫數字識別準確率達96.4%，Fashion MNIST達91.3%，QuickDraw達91.7%，UnityEyes注視方向估計任務達94.9%，Weizmann視頻動作識別任務達90.6%。與光電計算相互分離的方案相比，NEOSTI的平均準確率提升超過11%。在低信噪比條件下，系統仍保持較高的識別穩定性，展現出良好的抗噪能力。
NEOSTI的像素陣列規模為128 × 128，支持1–32幀/秒的可配置幀率，整體功耗極低，功耗范圍為1.58 μW至121.74 μW。其光學掩模部分為無源結構，未來可通過引入電致變色材料、量子點非線性材料等手段，進一步增加感前光學計算層數，豐富光學域的可重構性與計算性能，拓展其在多通道、彩色圖像等任務中的應用能力。
NEOSTI神經形態光學-電子混合圖像傳感器
2026年5月19日，相關研究成果以“NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor”為題，發表于《自然·通訊》（Nature Communications）。清華大學電子工程系2021級博士生劉天毅、博士后黃錚、2024屆博士畢業生王學誠為論文的共同第一作者，陳宏偉教授、張沕琳教授為論文的共同通訊作者。研究得到國家自然科學基金和國家重點研發計劃的支持。
論文鏈接：
https://www.nature.com/articles/s41467-026-71091-x
《CMOS圖像傳感器產業現狀-2025版》
《汽車ADAS CMOS圖像傳感器對比分析-2026版》
《汽車級長波紅外攝像頭產品對比分析-2025版》
《汽車紅外攝像頭技術及市場-2024版》
《銦鎵砷（InGaAs）光電探測器專利態勢分析-2025版》
《蘋果在量子點光電傳感器領域的發明專利與產業布局分析》
《量子點光電傳感器專利態勢分析-2024版》
