前NASA局長退隱創業十年，打造神經芯片KnuPath

據外媒Fudzilla、 VentureBeat、華爾街日報報導，NASA前任局長丹尼爾·戈爾丁掌權期間，聲譽卓著，但是卸任之后神隱多年，6月6日突然重出水面，投下震撼彈。如果把他開設的公司 KnuEdge定位成一家初創公司，可能不太準確，因為這家公司已經創立有十年時間了，最近一筆1億美元的巨額融資才讓他們浮出水面。

他們花了十年研發能像人類大腦一樣運作的神經芯片。首款芯片名為“KnuPath”，內建256個核心，運作方式一如大腦神經元，能各自處理不同任務，并即時相互串聯。該公司的技術可連結51.2萬組KnuPath芯片，足以執行龐大工作，而且速度飛快。

突破“馮·諾依曼瓶頸”

戈爾丁表示，人類大腦有上千億個神經元，每個神經元都連接1萬~10個神經元，大腦是世界上最有效率、最強大的電腦，他們依據類似原理設計新芯片，從根本顛覆電腦運算，讓電腦能以超快速度完成艱巨任務，比如尋找影像、聲音、金融數字的模式等。

戈爾丁相信，KnuEdge所開發的神經芯片將比基于“現代計算機理論之父”約翰·馮·諾依曼設計的傳統芯片成本更低，效率更高。基于馮·諾依曼理論設計的芯片，內存和處理器是分開的，它們需要通過一條數據通路（也是我們俗稱的總線）才能連接起來。當內存和處理器進行交互時，總線內的數據越多、速度越快，計算機速度也會變得更快。但這也會產生問題，因為計算機速度通常會受到總線容量的限制，繼而導致我們俗稱的“馮·諾依曼瓶頸”問題。

IBM已經預見到了同樣的問題，所以他們旗下的研究團隊目前也正在開發能夠支持數據中心的神經芯片。事實上，我們開發這類芯片的目的，就是為了應對人工智能和機器學習所帶來的數據爆炸性增長。類神經網絡的研發，近來方興未艾，不少公司都發現傳統處理器無法處理暴增數據，英特爾(Intel)、IBM等都投入開發新款芯片。

技術分析一代二代產品的差別

Knupath的第二代產品“Hermosa”，將會在2017年下半年推出，這是一款完全內部設計和組裝的定制DSP，以及新的“Lambda”模塊，既可以連接多個Hermosa芯片，也有潛力被多個系統的機架（Racks）采用。

在一個由以稀疏矩陣為基礎的計算主導的未來，這會是一個解決的辦法，正如戈爾丁預測的的那樣，這種計算方式在未來的機器學習應用中將會越來越多。

這樣的系統是可擴展的，可容納到512，000塊芯片，每一個芯片有256t的DSP內核（t 指的是“tiny”，配一個單一的ARM管理內核）。

延遲率是比較有說服力的，機架到機架（rack to rack）的延遲為400納秒（十億分之一秒）（與當下最快的Ethernet一樣快），所有的這些芯片都有高效且特別處理稀疏矩陣的能力。迄今為止，已經有一些研究開始把在深度學習中使用的稀疏矩陣驅動的計算向專用型轉化，但是，一個平臺上來做這件事的，還沒有。確實，這意味著在工作流上完全的轉換。戈爾丁在這方面下了很大的賭注，他認為這種轉換是值得的。

第一代的產品基于PCIe，有多個處理器，可以在多個Hermosa處理器上建立。Fabric是異構的，能容納多種類型的處理器（X86，GPUs，FPGAs）。這家公司的計劃是，到2017年推出的第二代產品，要支持所有的這些處理器，同時也是多程序的和多數據的。這意味著從理論上來說，256種不同的算法可以在Hermosa中的單個內核中運行。Goldin說，在未來的應用，比如信號處理和機器學習，以及一些被他們列為目標的金融服務中，這種芯片的重要性會變得越來越明顯。

在這，Lamba Fabric 是最有意思的。它包括在主板上的多個小型處理器或者一個設備中的單個處理器上，一直到521000塊芯片的組合。它基于一個分布式內存模型，在那兒，內核之間會共享內存，并且，被分享的內存也在系統中進行分布，這就是你得以看到DMA控制器（在系統中移動數據）的原因。

在一個綜合的存儲器內，機器的帶寬能達到3.7兆兆字節（terabytes）每秒。而在可擴展的邊界，每一個小的“cluster”都擁有DSP中共享的內存，所以記憶帶寬數量能和芯片的數量同比例增長（為系統增加更多意義，增加更多內存和內存帶寬）。

每一個Knupath處理器內核都有針對通信、同步以及解決稀疏矩陣難題（處理能力的分散或聚集）的內部指令，還擁有可編程的DMA引擎，以支持256t DSP內核的內存基礎工作。從可擴展性上看，除了可以建立512，000個排列外，系統還能提供最高3.702GB每秒的內存帶寬。最大能耗峰值達34瓦特每芯片。跟FFT和公司在運行的其他Benchmarks比起來，這提供了一個穩定的”watt-to-watt“的性能（但是在2017年正式發布前，將不會有更多的消息）。

那么問題來了，鑒于深度學習中廣泛使用的GPU，以及FPGA的潛力，為什么這里要使用DSP？如果說接下來，這一處理器 將會得到廣泛地采用，其中還包括即將推出的Tianhe-2超級計算機，但是，除了信號處理外，還沒有別的應用。

戈爾丁說，他們關注的主要還是處理，但是把這些能力轉換到一個節能的稀疏矩陣的功能中，其實并不是首例。

雖然他沒有分析Benchmarks，但他提到AlexNet 和GoogleNet 的性能是2X到6X之間。當然，沒有細節我們也不方便作過多評論。戈爾丁確實提到了其他兩個可能會是做出這種選擇的原因。第一是成本，第二個是可編程性。DSP并不貴（當然，只是相對的），但是，Knupath沒有從TI或者別的地方為自己的技術尋找產品，而是自己設計。

從編程的角度看，戈爾丁說他希望獲得DSP的靈活性，尤其是在信號處理方面的用戶，在這領域中，FPGA的編程是昂貴且費時的。

“我們希望在內存附近進行即時的處理——一個推模式（a push model）。你不需要Cache，你不也需要做提取（Fetch）。我們設計這個并不僅僅為了處理，我們還要在溝通和內存處理中做平衡。它是一個溝通者，正中的地方有一個路由器（router ）”，戈爾丁解釋說。不過，他們能在2015年拿下第一款芯片的出售合同，卻是因為eDRAM，它把每一個tDSP都緊靠在內存旁，以進行即時的聯系。雖然下一款芯片不能再使用這一技術，但是他們發現了一個合適的的工作區。雖然他們也不能就此提供更多的細節。

基于PCIe的加速器版本的編程模式很像CUDA/OpenCL，尤其是在主系統和芯片之間進行溝通時，系統內的芯片之間的溝通有一個更像MPI的模式。然而，跟使用GPU不一樣，這一芯片能在不同的cards之間進行溝通，并允許他們在不通過PCIe或者CPU的情況下進行交流。戈爾丁說，他的團隊正在與Larry Smarr博士合作，準備推出一個未來大賽，關注稀疏矩陣操作的工作，以推動平臺上軟件的發展。

戈爾丁說，公司正在尋找合作伙伴，包括FPGA和GPU市場。他還說，未來ARM的重要性將會得到穩固增長。

“需要指出的是，從數據在Fabric中的流動來看，這有什么不一樣”，Goldin解釋說，“我們通過架構來發送數據，而不是從內存和提取數據和應用，在這一個數據的集合中，不僅是數據會被計算，編程的每一步也會被計算，數據的下一個目的地也會被計算出來。”最終，隨著其他的數據按照架構設定的目標流動，這完全翻轉了馮·諾伊曼架構。

說得更清楚一些，Hermosa處理器依然能夠處理稠密矩陣，即使這并不是它的目標。“談到機器學習，我們依然處于蠻荒之中”，Goldin說，“但是隨著我們開發出許多不同的算法，平臺是必須的，而這一切依靠的新趨勢就是稀疏矩陣。”

雖然仍處于早期，但是確實有許多探索在尋找用稀疏矩陣來促進深度學習訓練在性能、效率和編程上獲得優勢的可能性。然而，要下結論還為時尚早，并且，向這種模型的轉化，對潛在的回報也有高的要求。

所以，我們已經把關于這一架構的一切都展現了出來，對于未來深度學習中分散和聚集/稀疏矩陣中的深度研究還非常少。雖然如此，一種基于DSP的方法就能獲得1億美元的投資，已經相當有啟發性。我們必須思考，有人看到了這個機遇，特別是考慮到在過去幾年中，我們已經看到許多深度學習芯片的崛起。

另一個角度是，許多新的客戶尤為鐘愛單一處理器，并且，與深度學習沾邊是獲得更大吸引力的保證，雖然深度學習還是在發展之中，并且能發展到什么程度誰也不能保證。

Tirias Research首席分析師Paul Te??ich表示，KnuEdge驚喜特點在于該公司的新架構已經準備出貨，并非停留在概念或早期原型階段。戈爾丁稱，該公司技術超前一個世代，首款芯片 去年12月完成研發，并已送往財星500大企業，如金融、保險業等潛在客戶測試，預計今年第三季底出貨。據戈爾丁透露，KnuEdge公司的使命就是要徹底改變計算世界。

所有這一切，都源自一個火星任務

回到2000年，戈爾丁發現，控制宇宙飛船的時延會很長，繼而導致飛船不得不自我運轉。他算了一下，如果NASA要實施火星計劃，可能會將軟件技術推向極限，因為程序員需要編寫數千萬行的代碼。

“我當時想，上帝啊！這成本實在是太大了，我們不算火箭推進設備，不考慮環境控制和電力供應。僅一個軟件就會變成一個大問題，就算是美國，也承擔不起如此巨大的成本。”

因此，戈爾丁開始“向前看”，他希望利用機器人的大腦來解決這些問題，從那時開始，他開始思考機器人的計算能力。

在被問到究竟是創業容易，還是在NASA工作容易時，戈爾丁大笑說：

“不管是在NASA工作，還是創業，我都很喜歡，但是它們又非常不同。在NASA，我會花很多時間解決些非技術性問題。每個季度，我都需要完成一個項目，那時的我，不希望自己對技術失去敏感度，因此通過和設計團隊合作，我總是嘗試做一些技術性的前沿工作。當你從大學畢業，開始給別人打工，每項工作都能讓自己有所成長。如果我沒有加入NASA，那么畢業之后可能會選擇創業，這很美妙。”

回到1992年，戈爾丁當時想去創業，并開設一家無線網絡公司，但很快，他被“國家召喚”來到NASA，在那里一干就是十年時間。2005年，他終于過了一把創業夢，創立了KnuEdge公司（前身公司名稱叫Intellisis）。如今這個公司的網站已經不可訪問，它的Wiki頁面還在，應該是改名為Knuedge了。

“當我去尋找投資人的時候，我知道自己不能使用傳統的硅谷方式，”他說，“硅谷投資往往急于求成，投資人希望能夠快速獲得回報。但我想做的是革命性技術開發，為下一代機器學習構建未來工具，為人機交互提供自然界面，因此我需要的，是那種更有‘耐心’的投資人，現在我們公司董事會擁有很廣闊的人脈關系，他們都是商業圈和科技圈內的知名人士，我們知道彼此至少要公事十年以上。”

不過，戈爾丁拒絕透露KnuEdge公司投資人的具體信息。

完全無視嘈雜環境的語音識別技術

不只如此，KnuEdge還同時發布軍事等級的語音識別認證科技“KnuVerse”，在最吵雜的環境中也能正確辨識聲音，可用來識別身分，登入銀行或醫療系統等。

在過去的五年時間里，語音技術市場呈現了爆炸性增長，很多語音助手應用也如雨后春筍般出現，比如Siri，Cortana，Google Home，Echo，以及Viv。但由于安全性和降噪技術等問題，這一技術始終無法在商業領域里廣泛應用。KnuVerse解決方案是基于專利授權技術，將人類語音作為一種最安全的生物識別指標（即便在極端嘈雜的環境下，KnuVerse技術也能做到準確識別），安全語音識別可以應用在很多行業領域，包括銀行業，娛樂業，以及酒店住宿行業。

KnuEdge公司表示，他們的技術現在可以在計算機，網頁，移動App及物聯網設備（或是任何可連接的日常物體）上實現語音識別，你只需對著麥克風說上幾個詞語——無論什么語言，無論周圍的環境有多吵雜，周圍有多少人在干擾。除了KnuVerse之外，KnuEdge公司還為程序員準備了軟件開發包Knurld.io，利用它，不到兩個小時就能將這個支持云端服務的語音識別和授權服務整合到你的App應用里啦。

此外，KnuEdge公司還發布了首款支持LambdaFabric技術的KnuPath芯片，這款芯片類似大腦神經，采用了較傳統的制造技術，是256核單晶片芯片。事實上，KnuPath芯片每個內核都是一個微型數字信號處理器。利用LambdaFabric技術，每個內容彼此都能實現即時連接，繼而解決了目前多核芯片所面臨的最大問題。當前設計的LambdaFabric技術最多可以連接51.2萬臺設備，支持系統在最嚴苛的計算環境下使用，從一個機架到另一個機架，當進行數據傳輸時，時延僅有400納秒，而且整個系統也不需要耗費大量電能。

KnuEdge公司的所有設計，都是基于人類大腦的生物計算原理，而且所需能耗非常低。戈爾丁表示，他們的芯片是基于“異構稀疏矩陣機器學習算法”開發的，未來將運行在程序員圈內非常受歡迎的C++軟件。程序員可以使用不同的算法針對單個內核進行編程，KnuPath芯片可以確保每個內核同步運行。戈爾丁說：“KnuPath芯片采用了多輸入，多數據設計，讓我們獲得了強大的處理能力。”

現在，戈爾丁表示他的公司已經準備好展示自己的設計了。首款芯片在去年十二月已經完成，目前KnuEdge公司正在向幾家潛在客戶推廣。這款芯片使用32納米制造工藝生產的，雖然制造工藝并不是最先進的，但芯片本身其實非常強大， KnuPath芯片的性能是同級別芯片的2-6倍。

KnuEdge公司現在正在設計新版KnuPath芯片，他們原型系統的銷售業績不錯，公司目前已經開始產生收入，每個主板有約4個芯片。

和谷歌、IBM的競爭關系怎么說？

KnuEdge公司旗下有100名員工，但戈爾丁表示他們幾乎所有的工作都是外包的。今年末或明年初，KnuEdge公司計劃在進行一輪融資，并且會和加州大學圣迭戈分校及加州電信與信息技術研究所建立合作關系。

有了能夠處理自然語言系統的計算機，能給世界上很多無法閱讀或寫作的人帶來幫助。戈爾丁說：“我想要利用機器學習幫助人類交流，幫助人們謀生。現在不僅僅是個開始，這一領域有非常大的發展前景，就像當年美國的狂野西部。我們正在和一些大企業洽談，他們對整個行業前景也感到非常興奮。”

KnuEdge公司將語音和機器學習技術應用在物聯網行業，一個例子就是能讓房屋獲得“自我感知”能力，一旦房屋出現異常，KnuEdge系統就會進行分析狀況，并判斷是否需要提醒業主。

戈爾丁表示自己已經守口如瓶了十年時間，但到了現在這個時候，再讓公司處于“隱身模式”似乎比較困難了。

當被問到KnuEdge公司的技術能否用來將人類運送到火星時，戈爾丁說：“只要有人想去火星，我們的技術就會對他們開放。我嘗試過兩次，如果真有人利用我們的技術實現火星登陸，我會感到非常高興！”

對于和IBM有競爭關系這個問題，戈爾丁說道：“我相信，KnuEdge公司所做的決定是正確的，公司的發展方向也是正確的。IBM的芯片設計方法和我們完全不同，我們不是針對誰，我們只想著眼于未來。”

在此之前，谷歌也研發出AI專用芯片，“TPU”，宣稱效能極佳，機器學習技術因此一舉加快7年，等于一次跨越三個世代的摩爾定律。谷歌推自家芯片，英特爾、Nvidia或許會受沖擊。

PCWorld、 TechCrunch、Wired報導，谷歌首席執行官Sundar Pichai 18日在博客發文稱，TPU已在數據中心使用一年，發現機器學習的效能每瓦特提高十倍，相當把此一技術的進展加快七年，也就是一口氣跨過三代摩爾法則。 TPU專為機器學習設計，能容忍較不精確的運算，每項作業所需的電晶體減少，芯片每秒能執行更多作業，效能大為提高。

谷歌資深副總Urs Holzle不肯透露TPU由哪家晶圓代工廠生產，只說此一芯片交由兩家晶圓廠制造。

關注最前沿的電子設計資訊，請關注“電子工程專輯微信公眾號”。