偉大是短暫的，以下是希望殺死英偉達(dá)的創(chuàng)業(yè)公司

“掌握GPU的人，掌握宇宙?！边@是對(duì)科幻經(jīng)典《沙丘》中一句著名臺(tái)詞的改編，如今這種說法在當(dāng)今時(shí)代頗為常見。對(duì)GPU的獲取，特別是那些由領(lǐng)先供應(yīng)商英偉達(dá)制造的GPU對(duì)于任何希望在人工智能（AI）領(lǐng)域被認(rèn)真對(duì)待的公司來說至關(guān)重要。

分析師們談?wù)撝臼恰案挥蠫PU”還是“貧窮GPU”，這取決于它們擁有多少這樣的芯片。科技老板們吹噓著他們龐大的庫存。英偉達(dá)的主導(dǎo)地位使其市值超過了2萬億美元。預(yù)計(jì)在5月22日公布的最新業(yè)績中，其年度收入增長率將超過200%。

GPU承擔(dān)著訓(xùn)練和運(yùn)行大型AI模型所需的計(jì)算重任。然而，奇怪的是，這并不是它們?cè)O(shè)計(jì)的初衷。GPU的縮寫代表“圖形處理單元”，因?yàn)檫@樣的芯片最初是為處理視頻游戲圖形而設(shè)計(jì)的。但幸運(yùn)的是，它們被重新用于AI工作負(fù)載，這對(duì)Nvidia是一個(gè)意外的發(fā)現(xiàn)。

也許從零開始設(shè)計(jì)專用的AI芯片會(huì)更好？這正是許多公司，無論大小，現(xiàn)在正在努力做的事情，以期推翻英偉達(dá)的統(tǒng)治地位。

專用的AI芯片承諾可以更快、更便宜或兩者兼而有之地構(gòu)建和運(yùn)行AI模型。任何能夠?qū)ΜF(xiàn)任冠軍構(gòu)成可信威脅的公司都將有大量的顧客，他們不喜歡其高昂的價(jià)格和有限的供應(yīng)。

普通的處理芯片，就像那些在筆記本電腦和臺(tái)式電腦內(nèi)部找到的一樣，基本上是為了依次執(zhí)行一件事情而設(shè)計(jì)的。相比之下，GPU包含數(shù)千個(gè)處理引擎或“核心”，使它們能夠同時(shí)運(yùn)行成千上萬個(gè)相同簡單任務(wù)（比如繪制場(chǎng)景的一部分）的版本。

類似地，運(yùn)行AI模型也涉及并行運(yùn)行大量相同任務(wù)的副本。想出如何重寫AI代碼以在GPU上運(yùn)行是引發(fā)當(dāng)前AI繁榮的因素之一。

然而，GPU也有其局限性，特別是在數(shù)據(jù)在其上進(jìn)行快速傳輸?shù)乃俣确矫妗，F(xiàn)代AI模型運(yùn)行在大量互連的GPU和存儲(chǔ)芯片上?？焖僭谒鼈冎g傳輸數(shù)據(jù)對(duì)性能至關(guān)重要。當(dāng)訓(xùn)練非常龐大的AI模型時(shí)，一些GPU核心可能會(huì)在等待數(shù)據(jù)的過程中有多達(dá)一半的時(shí)間處于空閑狀態(tài)。

總部位于加利福尼亞州圣尼瓦爾的初創(chuàng)公司Cerebras的老板安德魯·費(fèi)爾德曼將其比作感恩節(jié)前一天雜貨店的交通擁堵?！懊總€(gè)人都在排隊(duì)，停車場(chǎng)堵塞，通道堵塞，收銀處堵塞。這就是GPU正在發(fā)生的情況?！?p>

Cerebras的解決方案是將90萬個(gè)核心，加上大量存儲(chǔ)器，集成到單個(gè)巨大的芯片上，以減少連接多個(gè)芯片和在它們之間傳輸數(shù)據(jù)的復(fù)雜性。據(jù)Cerebras稱，其cs-3芯片是世界上最大的芯片，比率高達(dá)50。

費(fèi)爾德曼先生說：“我們的芯片大小相當(dāng)于一張餐盤——一個(gè)GPU的大小相當(dāng)于一張郵票?！盋erebras聲稱，核心之間的芯片內(nèi)連接速度比獨(dú)立GPU之間的連接速度快數(shù)百倍，而其方法與Nvidia最強(qiáng)大的GPU產(chǎn)品相比，能源消耗降低了一半以上，達(dá)到了相同性能水平。

位于加利福尼亞州山景城的初創(chuàng)公司Groq采取了一種不同的方法。其名為語言處理單元（LPUs）的AI芯片被優(yōu)化用于快速運(yùn)行大型語言模型（LLMs）。除了包含自己的存儲(chǔ)器外，這些芯片還充當(dāng)路由器，將數(shù)據(jù)在互連的LPUs之間傳遞。

聰明的路由軟件消除了延遲的變化，或者等待數(shù)據(jù)的時(shí)間，使整個(gè)系統(tǒng)能夠同步運(yùn)行。這極大地提高了效率，因此速度也得到了提升：Groq表示其LPU可以比現(xiàn)有系統(tǒng)快十倍運(yùn)行大型LLMs。

還有另一種方法是加利福尼亞州的MatX采取的方法。該公司的聯(lián)合創(chuàng)始人之一Reiner Pope表示，GPU包含的特性和電路為圖形提供了靈活性，但對(duì)于LLMs并不需要。他們公司正在研發(fā)的類似GPU的芯片擺脫了這種不必要的繁瑣，通過更好地做更少的事情來提高性能。

這一領(lǐng)域的其他初創(chuàng)公司包括以色列的Hailo，該公司于四月獲得了1.2億美元的資金；總部位于多倫多的Taalas；美國公司Tenstorrent使用開源RISC-V架構(gòu)構(gòu)建AI芯片；以及英國公司Graphcore，雖然是該領(lǐng)域的早期參與者，但未能獲得關(guān)注，有傳言稱該公司即將出售給日本企業(yè)軟銀。

大型科技公司也在建造自己的AI芯片。

谷歌開發(fā)了自己的“張量處理單元”（TPUs），并將其作為云計(jì)算服務(wù)提供。（它于5月14日發(fā)布了最新版本的TPU，稱為Trillium。）

亞馬遜、Meta和微軟也為基于云的AI制造了定制芯片；OpenAI正計(jì)劃這樣做。而AMD和英特爾兩家大型現(xiàn)有芯片制造商也在努力競爭Nvidia，他們制造了類似GPU的芯片。

偉大是否是短暫的經(jīng)歷？

新來者面臨的一個(gè)危險(xiǎn)是他們的專業(yè)化努力可能走得太遠(yuǎn)。斯坦福大學(xué)的計(jì)算機(jī)科學(xué)家克里斯托斯·科茲拉基斯表示，設(shè)計(jì)一款芯片通常需要兩到三年的時(shí)間，鑒于AI模型的快速發(fā)展，“這是一段非常長的時(shí)間”。

他說，機(jī)會(huì)在于初創(chuàng)公司最終可能擁有一款比Nvidia的非專業(yè)GPU更擅長運(yùn)行未來模型的芯片。風(fēng)險(xiǎn)在于他們專門從事了錯(cuò)誤的事情。

曾在谷歌工作過的Pope先生表示，他的公司對(duì)于當(dāng)前主導(dǎo)的“變壓器”架構(gòu)有“一定的預(yù)見性”。他說，如果出現(xiàn)新的方法——“狀態(tài)空間模型”是最新的方法——他的芯片足夠靈活，可以適應(yīng)。

費(fèi)爾德曼先生表示，所有現(xiàn)代AI仍然只是“稀疏線性代數(shù)”在底層運(yùn)行，而Cerebras的芯片可以非?？焖俚貓?zhí)行這種操作。

另一個(gè)挑戰(zhàn)是Nvidia的GPU編程軟件層CUDA已經(jīng)成為業(yè)界事實(shí)標(biāo)準(zhǔn)，盡管眾所周知它使用起來很麻煩?！败浖橥?，”斯坦福大學(xué)的科茲拉基斯先生表示，而Nvidia在許多年內(nèi)已經(jīng)建立起了其軟件生態(tài)系統(tǒng)，具有顯著優(yōu)勢(shì)。

只有在初創(chuàng)AI芯片公司能夠說服程序員調(diào)整其代碼以在新芯片上運(yùn)行時(shí)，他們才能成功。他們提供軟件工具包來實(shí)現(xiàn)這一點(diǎn)，并與主要的機(jī)器學(xué)習(xí)框架兼容。但是在新架構(gòu)上調(diào)整軟件以優(yōu)化性能是一項(xiàng)困難而復(fù)雜的工作，這也是英偉達(dá)難以撼動(dòng)的另一個(gè)原因。

對(duì)于AI芯片及其周圍構(gòu)建的系統(tǒng)而言，最大的客戶包括模型構(gòu)建者（如OpenAI、Anthropic和Mistral）和科技巨頭（如亞馬遜、Meta、微軟和谷歌）。

對(duì)于這類公司來說，收購一家AI芯片初創(chuàng)公司并將其技術(shù)保留給自己，以期在競爭中取得勝利，可能是有道理的。與其試圖與英偉達(dá)競爭，芯片初創(chuàng)公司可以將自己定位為收購目標(biāo)。

Pope先生表示，MatX正瞄準(zhǔn)市場(chǎng)的“頂級(jí)”，這表明他們希望將其芯片，即使不是整個(gè)公司，出售給像OpenAI、谷歌或Anthropic這樣AI模型最先進(jìn)的公司?！拔覀儠?huì)對(duì)多種退出方式感到滿意，”他說，“但我們認(rèn)為作為一個(gè)獨(dú)立的公司，這里有一個(gè)可持續(xù)的業(yè)務(wù)。”這還有待觀察。

據(jù)說Cerebras正在準(zhǔn)備進(jìn)行首次公開發(fā)行。到目前為止，這些初創(chuàng)公司中沒有一家對(duì)Nvidia的主導(dǎo)地位造成了一丁點(diǎn)的影響。但有很多人希望其中的一家能夠成功。（The Economist）