意識到沒有必要精確復制神經元，再加上DVS攝影機的開發，是今日神經形態視覺系統背后的驅動力。不過現在雖然已經有系統問世，在我們擁有可供商用、完全像是人類的計算機視覺技術之前，還有很長的路要走。
計算機視覺是否會再次自我重塑？美國匹茲堡大學(University of Pittsburgh)眼科教授，同時兼任卡內基美隆大學機器人研究所(CMU Robotics Institute)教授的Ryad Benosman認為將會如此。
Ryad Benosman (來源：匹茲堡大學)
身為事件導向(event-based)視覺技術創始人之一，Benosman預期神經形態(neuromorphic)視覺──即事件導向攝影機，會是計算機視覺的下一個發展方向。“計算機視覺已經被重塑了很多很多次；”他表示：“我至少已經看過該技術重塑兩次，從無到有，從零開始。”
Benosman指出，在1990年代，計算機視覺從帶有一點攝影測量法(photogrammetry)的圖像處理，轉變為以幾何學(geometry)為基礎的方法；然后今日則是快速轉向機器學習。盡管發生了這些變化，現代計算機視覺技術主要仍以圖像傳感器為基礎——即產生出類似于人眼所見圖像的照相機/攝影機(camera)。
根據Benosman的說法，在圖像感測技術典范不再有效之前，它會阻礙其他替代技術的創新；然而其效力因為GPU等高性能處理器的發展而延長，也延遲了尋求替代解決方案的需要。“我們為什么讓圖像(image)成為計算機視覺目標？這是在一開始就很難回答的問題，”他表示：“我們沒有理由使用圖像，只是因為歷史性的推動力；甚至在相機/攝影機發明之前，圖像就擁有那樣的動力。”
計算機視覺不該是攝影機？
自從針孔相機(pinhole camera)在公元前五世紀問世以來，拍攝圖像的相機/攝影機就一直存在。1500年代，藝術家們打造出一個房間大小的裝置，好在畫布上追蹤一個人、或者室外風景的圖像。多年之后，那些紀錄圖像的畫布被替換為底片，而像是數碼相機(digital photography)等創新技術，最終使得攝影機很輕易成為現代計算機視覺技術的基礎。
然而Benosman認為，以攝影機為基礎的計算機視覺技術效率極低。他以一個中世紀城堡的防御系統為比喻：圍繞著城墻部署一圈衛兵，從四面八方監看是否有敵人接近，并叫一個鼓手穩定地擊鼓，每打出一個鼓點就讓所有衛兵大聲喊出他們所看到的；在所有的呼喊聲中，有多容易能聽到其中一個衛兵在遠方的森林邊緣發現敵人？
在21世紀，鼓聲就是電子頻率信號，衛兵則是像素(pixel)——有大量數據被創造出來，并且必須在每個頻率周期被檢驗，這意味著存在大量冗余信息和需要大量不必要的運算。
“人們正在消耗如此大的能量，用一整個城堡的運算能力來保護自己；”Benosman形容，如果偵測到一個有趣的事件，也就是敵人，“你必須繞一大圈收集無用的信息，到處都有人在呼喊，所以要有很大的帶寬…你可以想象有一座復雜的城堡，所有衛兵的聲音都必須被聽到。”
進入到神經形態視覺時代，該技術的基本想法是受到生物系統運作方式的啟發，即偵測周遭場景動態的變化，而不是持續分析整個場景。在前面的城堡比喻中，這意味著讓衛兵保持安靜，直到看見讓他們感興趣的東西，然后喊出他們的位置以發出警報──在電子版本中，這代表讓個別像素決定它們是否看到關系重大的東西。
“像素可以自行決定它們應該發送什么信息，而不是獲取系統性信息來尋找有意義的信息-特征(feature)，”他說：“這就是與眾不同之處。”相較于與固定頻率的系統性信息獲取，這種事件導向方法可以大幅節省電力并降低延遲。
“你想要一些更具適應性的東西，這就是事件導向視覺的相對性變化可以提供的，適應性的信息獲取頻率；”Benosman表示：“當你觀察振幅變化(amplitude change)，如果某個東西動得很快，就會得到很多樣本；而如果有的東西沒有改變，得到的樣本幾乎為零。所以你是根據場景動態來調整信息獲取頻率，這就是該技術帶來的好處，以及為什么它是好設計。”
Benosman是在2000年進入神經形態視覺領域，深信先進的計算機視覺技術可能永遠無法發揮作用，因為使用圖像不是正確的方法。他指出：“最大的轉變是說我們可以在沒有灰階、沒有圖像的情況下實現視覺，這在2000年底那時候被視為異端邪說——完全是在胡說八道。”
而因為Benosman所提出的技術——也就是今日事件導向感測的基礎——是如此不同，導致他將論文投稿至當時最重要的IEEE計算機視覺期刊，還沒經過審查就被拒絕了。實際上，直到2008年動態視覺傳感器(DVS)的開發，才讓該技術開始取得動力。
一些Prophesee的客戶應用，展現攝影機和DVS傳感器輸出的差異。
(來源：Prophesee)
神經科學的啟發
神經形態技術是受到生物系統啟發，包括終極計算機──即人腦，以及其操作數件──即神經元(neurons)。但問題是，沒有人完全理解神經元是如何運作的，雖然我們知道神經元會對被稱為棘波(spikes)的饋入電子信號起作用，但直到最近，研究人員對神經元的特征描述仍相對草率，認為只有棘波數量重要；這種假設持續了幾十年，不過近期研究結果證明，棘波出現的時機絕對關鍵，人腦的架構會在這些棘波中產生延遲，以進行信息編碼。
今日的棘波神經網絡(spiking neural network)就是仿真人腦中的棘波信號，是真實事物的簡化版本——通常是棘波的二進制表示。Benosman解釋：“當我收到一個1，我就醒來，我運算，我睡覺；”而現實世界要復雜得多，當棘波到來時，神經元開始對隨著時間變化對棘波值計算積分；神經元也會漏電(leakage)，這意味著其結果是動態的。
人腦大約有50種不同類型的神經元，伴隨著50種不同的積分組合；今日的電子版本缺少積分的動態途徑、神經元之間的連結，還有不同的權重與延遲。“問題在于要打造出有效的產品，你無法模仿所有的復雜性，因為我們不了解它；”他表示：“如果我們有完善的人腦理論，我們可望解決這個問題——可惜我們就是知道的不夠多。”
Bensoman目前主持了一個獨特的實驗室，致力于了解大腦皮質運算背后的數學，目標是打造新的數學模型，并將其復制為硅組件；他的研究包括直接監測來自真實視網膜的棘波。不過就目前來看，他反對嘗試如實復制生物神經元，并將之形容為一種過時的方法。
“以硅組件來復制神經元的想法之所以出現，是因為人們看著晶體管也看到了一個看起來像真正神經元的機制，所以在一開始在背后有這樣的一些想法；”他表示：“我們沒有細胞，我們有硅組件，你需要適應你的運算基板，而不是反過來…如果我知道我要算什么而且我有芯片，我可以優化這個方程式，并且以最低的成本、最低的功耗與最低的延遲來執行。”
處理能力
意識到沒有必要精確復制神經元，再加上DVS攝影機的開發，是今日神經形態視覺系統背后的驅動力。不過現在雖然已經有系統問世，在我們擁有可供商用、完全像是人類的計算機視覺技術之前，還有很長的路要走。
初期版本的DVS攝影機具備“粗大”的像素，是因為該光電二極管本身周遭的零件，顯著地降低了填充因子(fill factor)。雖然對開發這類攝影機的投資加速了該技術的進展，但Benosman也明確表示，今日的事件導向攝影機只是對早在2000年就開發的原始實驗裝置之改良版。
法國新創公司Prophesee和Sony合作開發的DVS感測器評估套件；Benosman是Prophesee的共同創辦人。 (來源：Prophesee)
由Sony、Samsung與Omnivision開發的尖端DVS攝影機，擁有微小的像素，融合了3D堆棧等先進技術并降低了噪聲。Benosman擔心的是，今日被使用的傳感器類型能否成功地擴大規模；”問題在于一旦增加像素數量，就可以取得大量數據，因為運作的速度仍然非常快，仍然可以實時處理。但是你會從太多的像素中得到太多的相對變化，這現在讓所有人都想死，因為他們看到其潛力所在，卻沒有適當的處理器來支持。”
通用型神經形態處理器遠遠落后于它們的DVS攝影機同伴，一些大廠的開發工作──如IBM的Truenorth以及Intel的Loihi──仍在進行中。Benosman表示，適當的處理器搭配適當的傳感器，就會是無敵的組合；”現在的DVS傳感器速度極快，占用帶寬超低，且支持高動態范圍，因此能看室內、也能看室外；這是未來趨勢…它會起飛嗎？絕對會！”
他的結論是：”誰能可以開發出適當處理器并提供完整的堆棧，誰就贏了；因為那樣的組合將會是天下無敵。”
本文同步刊登于臺灣版《電子工程專輯》雜志2022年6月刊
責編：Judith Cheng
(參考原文：A Shift in Computer Vision is Coming，By Sally Ward-Foxton)
您可能感興趣
