原文摘自EE Times，麥姆斯咨詢編譯
如今我們探討的“神經形態傳感”到底是指什么？
Prophesee首席執行官Luca Verre表示：“我們會從10個不同的人那里得到10個不同的答案。隨著業界廠商逐漸從‘我們認為’走向‘我們如何才能使之成為現實’，神經形態的含義正在發生變化。”
他說，大多數從事神經形態傳感和計算開發的廠商都有類似的愿景，但戰略和實踐會因不同的產品、市場以及投資約束而有差異。
Prophesee首席執行官Luca Verre
Verre說：“這些廠商之所以大舉投入神經形態技術的研究，是因為它們深信，生物模型相比傳統模型更具優越性。盡管業界對產品、系統集成、商業機遇提出了不同的假設和實踐，但從本質上來講，它們的理念是一致的。”
在Verre看來，神經形態技術可以使技術更接近人類，最終實現更沉浸式的體驗，從而加速自動駕駛和增強現實等應用的落地。
他說：“人們了解到它背后的技術更接近我們人類自身的工作方式，一種更自然的方式，這為應用提供了很強的說服力。”
首先是工業視覺，然后是消費類應用
近年來，Prophesee已經利用其專有的動態視覺傳感技術，將基于事件的相機商業化。Prophesee與影像行業領導者索尼（Sony）建立合作，打造了一款緊湊、高分辨率的事件相機模塊IMX636。在該模塊中，光電二極管層使用索尼的3D堆疊工藝直接堆疊在CMOS邏輯層的頂部。
據Verre稱，這項技術最接近商業應用的領域是工業機器視覺。
他說：“工業領域目前處于應用領先地位，我們將Prophesee的第三代相機推向了這一領域，它具有更大的傳感器，更適合這種類型的應用。工業領域，歷來是非常活躍的機器視覺應用領域。事實上，它可能是最早開始應用CCD和CMOS圖像傳感器技術的領域之一，絕對是一個關鍵市場。”
Prophesee和索尼合作打造的IMX636是第四代產品。Prophesee表示，未來幾代產品將縮小像素間距，簡化與傳統計算平臺的集成
由索尼3D堆疊工藝實現的緊湊尺寸驅動，IMX636的第二個關鍵市場是消費類應用，包括物聯網攝像頭、監控攝像頭、動作相機、無人機、消費類機器人，甚至智能手機。基于事件的相機可以檢測運動，在許多情況下，與全幀相機一起使用，可以應用圖像處理捕捉更高質量的圖像，即使面對運動中的物體。
“原因很簡單：基于事件的相機非常適于理解和捕捉運動。”他說，“這就是它們存在的目的。基于幀的相機更適合捕捉靜態信息。如果你想在有物體移動的場景中捕捉圖片或視頻，那么基于事件的相機的動態信息可以完美補充基于幀的相機的靜態信息。”
事件數據可以與全幀圖像相結合，校正幀上出現的模糊，尤其是對于動作相機和監控攝像頭。
Verre說：“我們清楚地了解該領域的吸引力，這當然是非常有前景的，因為與工業視覺相比，消費類應用在體量方面相當可觀。”
Prophesee還在與一家客戶合作開發汽車駕駛員監控解決方案，Verre表示，基于事件的相機在低光性能、靈敏度和快速檢測方面具有優勢。這方面的應用包括眨眼檢測、眼動跟蹤，或人臉跟蹤以及微表情檢測等。
商業化途徑
Prophesee推出的EV4評估套件
Prophesee一直在努力推動事件相機的商業化。該公司最近為IMX636發布了一款新的評估套件（EVK4）。這款套件為具有堅固外殼的工業視覺應用而設計的，當然也適用于所有其他應用（Verre稱已經銷售了數百套）。該公司用于事件視覺的Metavision SDK最近也已開源，以減少事件技術在應用時的磨合。Metavision社區目前已有約5000名注冊會員。
Verre說：“這款SDK是進一步推動和推廣這項技術的絕佳工具，它具有非常典型的外形尺寸。這款SDK可以幫助每一位工程師或研究人員在測試、探索新技術時應對可能遇到的復雜問題。試想一下那些在原領域耕耘數十年的工程師一下子轉向事件成像，他們肯定不希望在自己的舒適區外太過掙扎。”
Metavision SDK的新功能包括一個模擬器，用于將完整幀轉換為事件，以幫助設計人員在他們當前的工作方式和事件域之間進行轉換。Verre指出，模擬器旨在向他們展示事件沒有那么神秘。
他說：“事件，只是從場景中捕捉信息的一種方式，與圖像相比，它包含的時間精度要高得多，而且實際上更具相關性，因為通常情況下它只會捕捉正在變化的信息。”
Prophesee基于事件的相機工作原理
該模擬器還可以從事件數據中重建完整的圖像幀。
“大多數客戶已經不再認為這是一種挑戰，因為他們知道需要從不同的角度來看問題，就像他們使用飛行時間（ToF）或超聲波等技術一樣。”他說，“挑戰在于有些客戶認為這是另一種圖像傳感器。對于這類客戶，我們制作了這個工具，可以向他們展示如何逐步過渡到這種新的傳感模式。這是一種思維轉變，可能需要一些時間，但終究會適應。”
Prophesee開發者社區已經實現的應用包括：恢復盲人一定的視力、檢測和分類醫學樣本中的污染物、研究中的粒子跟蹤、機器人觸摸傳感器，以及跟蹤空間碎片等。
硬件發展路線圖
對于公司路線圖，Prophesee計劃繼續開發硬件和軟件，以及新的評估套件、開發套件以及參考設計。這可能包括將Prohpesee傳感器與專門開發的處理器相結合的系統級參考設計。
例如，Prohpesee的合作伙伴iCatch開發了一種人工智能視覺處理器SoC，與IMX636原生接口，并具有片上事件解碼器。Verre介紹稱，日本人工智能核心供應商DMP也在與Prophesee合作，開發基于FPGA的系統，此外，還有更多的合作伙伴正在合作進行中。
他說：“我們注意到，生態系統合作伙伴在SoC層面以及軟件層面的興趣越來越大，他們對基于Prophesee的事件技術構建新解決方案非常感興趣。這些產品對社區發展很重要，因為這是邁向完整解決方案的又一步，他們可以獲得傳感器、相機、計算平臺和軟件，進而開發整體解決方案。”
Prophesee基于事件的視覺傳感器的發展迭代
基于事件的傳感器硬件將如何發展？Verre列舉了這項技術的兩個關鍵方向。第一個是進一步減小像素尺寸（像素間距），縮小傳感器整體尺寸，使其適用于可穿戴設備等緊湊型消費類應用；第二個是推動基于事件的傳感與傳統SoC平臺的集成。
與計算廠商合作對于確保下一代傳感器原生嵌入計算平臺接口至關重要，這將簡化系統級任務，在傳感器層級增加智能，帶來更智能的傳感器。
Verre說：“我們認為事件具有重要價值，應該在傳感器內部實現更多的預處理，因為離信息獲取越近，在效率和低延遲方面效果就越好。此外，還可以避免對數據進行編碼和傳輸。因此，這是我們正在追求的目標。”
隨著代工廠在3D堆疊工藝方面不斷取得進展，利用最先進的CMOS工藝進行兩層甚至三層堆疊，有助于將更多智能功能放到像素層下方。
像素端的智能化
Verre說，像素端的智能化水平，取決于增加的硅成本，和確保媲美傳統計算平臺之間的折衷。
“傳感器通常不使用最先進的工藝節點，最多28 nm或22 nm。”他說，“主流SoC使用12 nm、7 nm、5 nm及以下工藝節點，因此它們處于足以壓縮這些數字組件的技術節點之上。尺寸與成本的權衡意味著在某一點上，可以更高效、更經濟的將智能嵌入SoC。”
Prophesee事件相機的各種應用
將基于事件的傳感器結合神經形態計算架構也有一定的協同作用。
“神經形態技術的最終目標，是同時兼具傳感和處理神經形態或事件，但就這類解決方案的成熟度而言，我們還沒有達到這一目標。”他說，“在這一領域，我們正非常積極地為未來做準備。我們正在與英特爾（Intel）、SynSense以及其他合作伙伴展開合作。但是短期內，主流市場仍將被傳統SoC平臺主導。”
Prophesee的方案是很務實的。Verre表示，該公司的目標是盡量減少任何妥協，以提供優于傳統解決方案的優勢。
“最終，我們認為事件應該自然地異步流傳輸到同樣異步的計算架構，以便在延遲和功耗方面充分受益。”他說，“但我們需要務實并推動這一發展，充分利用現有平臺，與這一領域愿意投入軟硬件開發，并針對各個市場優化解決方案的重要合作伙伴一起努力。”
延伸閱讀：
《新興圖像傳感器技術、應用及市場-2021版》
