深度學習的興起，是通用計算的挽歌？

從理論上來說，1946年的ENIAC計算機是全球首款電子通用計算機。不過你可能不知道，這臺巨型計算機當時主要是用來計算炮彈射擊表的——典型的戰爭催生技術誕生。如果要用ENIAC執行不同類型的計算，那就需要手動重新安排接線，做新的硬件設計了。

實際上早期的計算機鮮有真正“通用”的設計，它們基本上都是為某一類算法特制的，我們不能簡單將其說是像ASIC或FPGA。即便在真空管轉向半導體以后，針對新功能進行硬件重新設計也是必須的。后來才有基于馮諾依曼體系的計算機架構，即可以存儲指令，在軟件中執行算法才成為可能。這是“專門硬件”向通用硬件的華麗轉身。

隨后CPU這樣的通用技術，及摩爾定律影響了人類幾十年的歷史。在這幾十年時間里，對應于通用處理器的專用處理器實際仍然是有市場的，典型的比如GPU執行專門的圖形處理。但近些年摩爾定律逐漸失效，以及AI技術的興起，讓專用處理器忽然有了逆襲的趨勢，而且這種逆襲可能是以顛覆通用計算市場主體為代價的。

MIT（麻省理工學院）去年11月曾發表過一篇題為《通用技術計算機的衰落：為何深度學習和摩爾定律的終結正致使計算碎片化》的paper。這篇paper認為半導體制造工廠近兩年的建造成本還在逐年上升，產品迭代的設計和運營成本則基本上也在同步提升；而且通用芯片同等成本下的性能提升（performance-per-dollar）還在大幅放緩，這讓專用處理器更具吸引力。

如果通用計算真的逐漸沉寂，或許對整個行業的眾多玩家而言都是一次革命。而這件事的發酵實際也遠比很多人想象得影響深遠。

良性循環的打破

通用計算技術在出現之后很快就形成了良性循環：1971年的Intel 4004可以認為是首個通用處理器，自此之后市場擴張就徹底打開了。這里的良性循環是指，早期會有用戶開始購買通用計算處理器，資金便開始進入到市場中，并讓產品在技術方面做得更好；而在產品提升之后又會導致更多的用戶購買，并吸引下一輪資金......如此循環往復。

2000-2010年是PC發展的黃金期，銷量每年平均提升9%。這樣的市場增速自然就刺激了芯片的資金投入。Intel過去10年在研發和生產設備方面的投入達到了1830億美元。這種程度的投入，造成1971年至今，處理器性能提升多達40萬倍。技術的高速迭代也促使下游廠商頻繁更新產品，產品淘汰周期很短，銷量的提升也就理所應當了。這就是通用處理器以往的良性循環。

值得一提的是，這種良性循環的基礎是在短期內，相同成本下的性能提升速度夠快。在半導體領域，傳說中的摩爾定律是推動這種良性循環的核心。如果技術更新和成本下降無法隨時間呈接近指數級變化，則“通用”技術很難存在市場：在電子科技領域以外，就較少見到“通用”的存在，比如電動機這種各類家電都需要的設備，始終也未能形成跨設備的“通用”。

通用計算市場的良性循環這么久以來的持續，是我們都有目共睹的。專用硬件雖然有其獨有的市場空間，卻從未對通用處理器造成真正威脅。但2012年有個大事件發生：這一年的ImageNet視覺識別挑戰賽上，有個名叫AlexNet的項目刷新了程序識別視覺圖像的記錄。這個項目將程序識別圖像的錯誤率下降到了16%——而往年類似SVM這樣的矢量機頂多也就能達到26%上下的錯誤率。

AlexNet用到了當時還不算普及的深度學習技術。神經網絡技術早在上世紀80年代曾經火過一段時間，但那會兒的計算能力并不足以承載哪怕是規模不大的神經網絡。而AlexNet則在挑戰賽上應用了針對深度學習的“專用處理器”——主體就是GPU。借助GPU硬件重并行計算、大存儲空間，以及深度學習本身就看重算法并行，AlexNet贏得了那場比賽。在AlexNet亮相之后，同行也都開始采用GPU進行深度學習應用。很快深度學習開始應用于語音識別、機器翻譯等領域。除了現如今Siri、Alexa這些常規的智能助手已經普及了深度學習，Facebook甚至用深度學習來識別圖片、過濾部分文字內容、定制化廣告呈現。

深度學習可以認為是刺激專用處理器極速發展的切入點。2015-2017年英偉達數據中心業務營收發生四倍增長，其中約50%的銷售額都來自深度學習。而在2013年，谷歌認為深度學習要求的算力還會更高，于是并未基于GPU構建數據中心，而是開發了更專注的專用處理器：TPU（屬于ASIC）。TPU在能夠處理的任務方向上更窄，它只能用于神經網絡。谷歌在TPU之上花費的開銷是相當不菲的，但帶來的收益也非常可觀。谷歌宣稱，其性能紅利相當于摩爾定律7年的發展，而且開發TPU還避免了基礎設施方面的花銷。

此后不久，Facebook又與Intel合作開發神經網絡處理器Lake Crest。而在移動終端，華為率先為手機SoC推出了NPU神經網絡執行專核，蘋果也在前年的A系列SoC中加入了類似的組成部分。而這種NPU在處理神經網絡inferencing任務時的算力，是遠非CPU、GPU這些相對更通用的處理單元可比的。

實際上，專用處理器已經在各類計算平臺發力，包括移動、數據中心、PC、IoT。蘋果的A系列SoC，目前只有20%的面積給通用處理器，其余部分都分配給了專用電路，包括運動協處理器、神經網絡執行單元；IoT終端硬件，包括各類傳感器、RFID標簽基本都基于專用硬件；在超算領域，自2010年以后，采用專用處理器的Top 500超級計算機比例正在逐年上升——而且到去年專用處理器為Top 500超級計算機增加的算力總和，首次超過了通用處理器。

Intel“擠牙膏”的深層原因

前述通用處理市場良性循環三要素分別是用戶、資金、產品。探究轉向專用處理器的內在原因，恐怕可以從鏈條中的“資金”這一環說起。每年半導體行業造成的收益是巨量的，但半導體行業協會（SIA）2017年估算，針對新一代技術節點建工廠，配套制造設備，大約需要70億美元。在過去25年間，構建最新制程節點工廠的投入每年平均提升11%，如果加上工藝開發，則可將成本每年推升13%（2001-2014）。

2002-2014年，最新節點工藝制造商的數量變化，來源：Smith (via MIT)

那么要抵消這些固定成本的急劇提升，一方面自然是要求半導體行業本身的成長、更大的市場規模，以企業更高的產量來攤薄固定成本。另一方面，則在成本和市場增長不對等的情況下，導致一部分市場玩家離開，那么剩余的玩家就能進一步獲取市場，拿到更大的銷量來再行攤薄成本——這一點原本就是趨勢，從2002年至今，能玩轉最先進工藝制程的晶圓廠已經所剩無幾。在GlobalFoundries退出7nm競爭之后，市場上還能做最先進制造工藝的企業現在就只剩下Intel、臺積電和三星了。

如果粗略地算一筆賬，在上述兩個條件同時滿足的情況下，現有的市場參與者才剛好讓這一市場的增長率（理想情況下如果市場份額在幾個參與者間均分，則結合歷年數據，企業復合年增長率約為14%），和前述13%成本提升兩相抵消，并有盈余。那么按照固定成本還在推升的趨勢，未來參與者還需要進一步侵吞競爭對手，才可能獲得生機。

至少我們可以認為，這種趨勢是不能持續的。而制造商真正的解決方案很顯然，是被迫減緩新技術節點的迭代，或者通過其他方式來控制成本，這對通用計算市場而言顯然是不利的。

市場的這種整體惡化，實際對Intel產生了很大的影響——而且Intel一直以來的主要營收支柱就依賴最新工藝，所以市場實際狀況對Intel的打擊也遠高于三星和臺積電，如臺積電更早的節點也是其重要營收來源。Intel工廠的固定成本與可變成本之比，在過去10年間從60%攀升到了超過100%。

Intel過去10年的R&D投入變化，來源：YCHARTS

要解決成本控制問題主要有兩種方法，一是推高產品的平均售價獲得更高的利潤；二是減緩新節點制程的更新步伐，把新工藝的迭代周期推遲一年。實際上Intel同時采用了這兩種方案。拋開技術層面的問題不談，推遲工藝迭代也算是個必然選擇，無怪乎擠牙膏的市場現狀（雖然近期AMD給Intel造成的壓力不小，導致硬著頭皮也要上）。

那么實際上，前文提到的“良性循環”就已經有了缺口。三要素之一的資金，已經出現了問題，也實質上造成了另一個要素的問題：技術迭代不得不放緩。而技術迭代的放緩又不只是資金問題造成的，物理極限本身造成了工藝迭代難度大增。從SPECint的測試數據來看，1985-2005年通用計算機每年平均跑分成績提升52%，而在2005年之后掉到每年22%，預計到2020-2025年期間這個數字還要縮減。美國勞工統計局的數據為，通用處理器相同成本下2000-2004年每年性能提升平均為48%，2008-2014年則為8%。

那么在技術水平更新變慢以后，就要開始影響良性循環中的第三個要素用戶了。早在2016年，當時的Intel CEO Brian Krzanich在Bernstein Strategic Decisions Conference會議上說，用戶更換PC的周期已經擴展到了5-6年。實際情況是，手機的消費用戶更換周期也在延長。在這種情況下，通用計算市場原有的良性循環實際已經被打破，甚至成為了惡性循環，讓通用計算市場的發展越來越慢。

專用處理器市場過小？

或許有人會說，晶圓廠的這種問題，工藝迭代放緩也會影響到專用處理器。但實際上專用處理器大部分情況下的理想成本選擇并非最新制造工藝。而不同的應用本身也正需要不同的工藝，所以上述問題對專用處理器的影響也就小了很多。

這些因素都讓專用處理器變得更有吸引力。一般更通用的處理器，在設計時所需的妥協更多。比如在芯片面積方面的權衡：是增加額外的處理器核心用于并行計算，還是增加cache提升存儲子系統的性能。畢竟通用處理器要執行各種各樣的計算，自然無法針對某種特定的任務做特別的照顧。而專用處理器是量體裁衣，比如做更出色更穩定的并行運算、更少的存儲訪問需求，以及可能更低的精度。

比如GPU相比CPU，頻率通常低得多，但每個時鐘周期內以并行的方式就能執行100倍量的計算。所以GPU在重并行運算方面就具備了極大的優勢，但處理一些少并行的工作可能就不及CPU了；另外GPU的內存帶寬可以達到CPU的10倍，但數據訪問延遲卻高得多，這樣一來GPU的預測計算能力就更強。而專用處理器的另一個特性就是由于量體裁衣，所以更節能，無論對電池驅動的小型IoT設備，還是對大到云計算、數據中心和超算，都是有很大價值的。

不難想象前文提到的專用處理器在更多領域正逐漸開花。不過專用處理器也存在缺陷，典型的就是彈性較差。好比英偉達的GPU，雖然高維矢量運算能力強，在科學和工程領域應用還算多。但實際上絕大部分的軟件都是不能跑在GPU上的。而GPU已經算是通用性還稍強的處理器了。而且編程難度高，只有那些經驗最豐富、對性能要求很高的程序員才有能力將GPU應用到非圖形計算領域。

而專用處理器最大的問題實際也是來自固定成本。對于通用處理器來說，固定成本的攤薄是基于巨大的銷量。或許GPU、NPU之類的市場都還比較大，但更多專用處理器僅著力細分市場，市場規模與通用處理器不可同日而語。即便用更早的制造工藝，成本如何控制的問題也仍然存在。這也是過去幾十年，專用處理器未能真正大規模興起的原因。

實際上，某一個種類的專用處理器能否興起關乎幾個因素：相對性能 r（專用處理器性能/通用處理器性能），通用處理器本身的性能提升速度λ，以及專用處理器達到與通用處理器相同成本所需的時間T（這個值是指在出售過程中攤薄成本的時間）。

如果某款專用處理器的固定成本更高，那么它所需攤薄成本達到與通用處理器同一水平所需的時間T也就更久。而客戶是否選擇專用處理器，除了價格之外還要看專用處理器性能表現如何——以及通用處理器性能提升速度λ是否很快。如前文所述，美國勞工協會的數據為2000-2004年，λ=48%；而2004年λ=29%，2008年λ=8%。符合通用處理器性能提升逐年放緩的趨勢。

來源：MIT

上面這張圖，橫軸表示相對性能r（專用處理器性能/通用處理器性能），縱軸表示處理器出貨量。在摩爾定律鼎盛時期，也就是λ=48%的時候，如果說r=100，也就是專用處理器比通用處理器快100倍，則至少需要出貨83000個產品，才能讓專用處理器在成本效益方面打敗通用處理器。如果r=10，也就是雙方性能差距10倍，則出貨量需要達到16.7萬；如果r=2，則出貨量需要100萬，才能讓專用處理器在市場上更有競爭力。這幾個出貨量值對于細分領域的專用處理器而言都顯得過大。

不過考慮到現如今λ已經下滑到了8%，那么r=100時，要求的出貨量就能降到15000；r=10時，要求的出貨量可降至27000；r=2時，要求的出貨量為81000。就這個時間節點來看，某些應用領域的專用處理器就已經可以達到這樣的經濟效益了，甚至對專用處理器的性能要求也降低了很多。

計算的細分和碎片化

深度學習或者說AI這樣的應用場景正越來越普遍。僅企業市場，IDC預計，應用于AI和機器學習的花銷預計會從2017年的120億，達到2021年的576億——當然這其中也并不單只和半導體相關。其應用場景涵蓋了BI（商務智能）與分析市場、數據科學平臺等。Deloitte Global認為機器學習IP最快的成長領域就是專用芯片的開發，數據顯示數據中心的機器學習芯片，2016年出貨量在20萬，而2018年就達到了80萬。

谷歌TPU板子

前述英偉達專為AI優化的GPU，以及谷歌TPU即是這一場景中的例子。谷歌還在去年的Google I/O大會上宣傳了TPU第三代產品，可見是真正嘗到甜頭的。微軟Brainwave加速器采用FPGA的方式，為實時AI設計；Intel則有深度學習inference加速器（位于數據中心加速卡中的FPGA），還有放在USB小型計算設備中的低功耗AI加速器Movidius Compute Stick；更多市場參與者如Graphocore IPU、Tachyum、Wave Computing...單是AI這一領域百花齊放的態勢就已經形成了。

而AI只是專用處理器的某一個方向，更多開發者的加入，并且相繼讓前期投入的企業嘗到甜頭之后，適配其他算法的新硬件也會相繼誕生，專用計算市場持續擴增。那么計算在硬件部分就開始進一步細化了，似乎又返回到計算機剛誕生的那個“專用”時代，一種硬件解決一種問題。

未來市場的應用場景大致分成三類，一類是由于某些原因無法采用專用處理器的類型：比如某些市場本身就非常小，如氣候模型這樣的小眾研究科學，很難利用邊際遞減的方式把固定成本縮減到合理區間，成本難以攤薄；還有一種情況是某些類型的應用具有特殊性，如數據庫——這個市場雖然很大，但數據庫計算難以預測，且無法并行，應用專門計算是存在挑戰性的。針對這類不能應用專用計算的，唯有繼續采用通用計算了。鑒于通用計算整體步調放緩，會進一步減緩這些場景的發展速度，讓它們徹底進入慢車道。

第二類是像TPU這樣即便通用計算不沒落，也一樣要發展專用計算的類型——這類型可能是專用計算的最大受益者，但因為其發展和通用計算的興衰根本上無關，所以很難算在趨勢內，即便他們對市場是有貢獻的。第三類則是被引導著從通用計算轉型到專用計算的類型，這可能是市場發展的真正主體。無論如何這兩類都可能會在短期內進入發展的快車道，獲得市場最大的紅利。

但就長期來看，早前通用計算的良性循環很難在專用計算上持續，無法快速驅動技術革新和成本投入。這樣的長期發展可能會延緩半導體新技術的誕生和推廣，甚至讓創新裹足不前。只不過具體情況大約會更加復雜，這些影響仍然是很值得細究的。

參考來源：

[1] The Decline of Computers as a General PurposeTechnology:

Why Deep Learning and the End of Moore’s Law are Fragmenting Computing - MIT（http://ide.mit.edu/sites/default/files/publications/SSRN-id3287769.pdf）

[2] Measuring Moore’s Law: Evidence from Price, Cost, and Quality Indexes - University of Texas at Austin （https://www.imf.org/~/media/Files/Conferences/2017-stats-forum/session-6-kenneth-flamm.ashx）

[3] The PC upgrade cycle slows to every five to six years, Intel's CEO says - CIO（https://www.cio.com/article/3078005/the-pc-upgrade-cycle-slows-to-every-five-to-six-years-intels-ceo-says.html）

[4] Roundup Of Machine Learning Forecasts And Market Estimates, 2018 - Forbes（https://www.forbes.com/sites/louiscolumbus/2018/02/18/roundup-of-machine-learning-forecasts-and-market-estimates-2018/）

[5] The fierce competition for supremacy in the machine learning chip market - diginomica（https://diginomica.com/competition-hardware-machine-learning-market-take-2）