夏威夷。計算機視覺與模式識別會議的余溫還沒散。
全球AI圈沉浸在深度殘差網絡和對抗生成網絡帶來的沖擊里。
所有人都在討論這個、那個論文有多牛。
但在arXiv上，悄然出現了一篇預印本。
標題叫《Attention Is All You Need》。
沒人注意到它。
至少當時沒人注意到。
后來發生的事情，所有人都知道了。
這篇只有八頁的論文，改寫了整個文明的演進路徑。
它催生了ChatGPT、Claude、Midjourney。它把英偉達推上了數萬億美元市值的神壇。它迫使谷歌、亞馬遜、特斯拉，甚至整個主權國家，重構自己的半導體戰略。
但這一切的起點，不是什么頂級實驗室的頂層設計。
而是一個谷歌研究員在白板上畫的一堆草圖。
你要理解這有多荒誕，先看看當時的AI世界長什么樣。
2017年之前，深度學習的王是循環神經網絡，簡稱RNN。
RNN的設計哲學很符合人類直覺。語言是流動的，信息是序列的。理解一句話必須從左到右逐字進行。先讀第一個字，再讀第二個字，一個字一個字來。
聽起來特別合理對吧。
但RNN有個致命的問題。
你要處理第1000個單詞的時候，模型必須先完成前面999個單詞的計算。這是一種純粹的"串行"計算方式。它無法利用GPU的大規模并行能力。等于你花幾百萬買的GPU，只用了10%的算力，剩下90%都在那兒干耗著。
更糟的是長程記憶的喪失。
哪怕用了LSTM這種改進版，在幾千個詞的長文檔里，模型還是會"遺忘"。它很難把文檔開頭和結尾的語義關系聯系起來。
你讓一個RNN讀完《百年孤獨》然后問你開頭和結尾的關系，它大概率只會給你一個茫然的眼神。
然后這八個人站出來說。
注意力就是一切。
他們提出了一個極其傲慢且激進的假設。
剔除所有循環層。剔除所有卷積層。只依靠一種叫"縮放點積注意力"的機制，就能捕捉全局依賴。
也就是說，模型可以同時看到整段文字里的每一個詞。它不需要一個字一個字地讀。它可以一眼掃完整個句子，然后理解每個詞之間的關系。
這個改動，釋放了被禁錮在硅片里的計算怪獸。AI的訓練速度實現了量級的躍遷。
讓我給你講一個細節。
這八個人里有一個叫艾登·戈麥斯的家伙，當時才20歲，大二，還在多倫多通過遠程協作。
他干了什么？
他完成了數百次超參數搜索實驗。就是那種最枯燥、最無聊、最沒有人想干的活兒。調參數，跑實驗，看結果，再調。一遍又一遍。
20歲的大二學生。
你敢信？？？
這篇后來改變了世界的論文，最核心的實驗驗證工作，是一個還在上大學的孩子在宿舍里跑出來的。
那八個人到底是誰？
第一個是阿西什·瓦斯瓦尼。論文的第一作者，全局設計者。他在團隊初期協調各方利益，確保項目持續推進。你可以把他理解為那個把所有零散的idea串起來的人。
然后是諾姆·沙澤爾。谷歌的功勛元老，曾參與構建早期的拼寫檢查系統。他對提升模型規模和效率有著近乎本能的直覺。他后來發明的"多頭注意力"，成了整個架構的靈魂。
再說說雅各布·臼克雷特。靈魂人物，自注意力理論的推動者。他騎著園區自行車在各辦公室穿梭，在白板上勾勒架構草圖。他是最早提出"既然注意力可以作為RNN的補充，為什么不能讓它獨挑大梁"的人。
尼基·帕爾瑪。實驗專家。她設計并評估了無數種模型變體，證明了架構的穩健性。她是那個把所有瘋狂的想法變成可運行代碼的人。
盧卡什·凱澤。系統架構師，TensorFlow深度用戶。他把抽象的數學變成了可以在數千顆GPU上跑通的工程代碼。
盧卡什·凱澤的隊友里還有莉昂·瓊斯。他干了件后來被所有人銘記的事。
他想出了這篇論文的標題。
《Attention Is All You Need》。
你想想看一個學術論文的標題，本來應該叫什么東西？"基于自注意力的序列建模框架"。那種無聊到死的學術命名。
但他寫的是"Attention Is All You Need"。
簡潔、傲慢、有記憶點。
后來這篇論文的引用量超過了20萬次。
這個標題被全球AI從業者念了無數次。
以及派生出各種《XXX Is All You Need》
還有一個伊利亞·波洛舒金。
早期協同設計者，共同起草了最初的設計文檔。他專注于模型的基礎數學邏輯，早期貢獻了大量代碼。
八個人。
沒有大佬坐鎮。
沒有預算。
沒有管理層的支持。
就是一群人在白板前面畫了一會兒，然后覺得"這玩意兒可能行"。
然后故事就變得有意思了。
因為谷歌沒有接住它。
坦率的講，這不是谷歌的錯。
2017年后的谷歌正處于搜索廣告業務的巔峰。它的核心業務太成功了，成功到所有的資源和精力都圍繞著搜索廣告轉。
一個改變世界的架構擺在你面前，但你的KPI是"讓搜索廣告多賺1%"。
你當然會選擇后者。
谷歌內部的官僚體系和對品牌風險的極度規避，讓這項技術被束之高閣。
或者說，被限制在了一個極小的范圍內，只用來改進搜索排名之類的細枝末節。
艾登·戈麥斯和尼基·帕爾瑪都表達過相似的挫敗感。
在谷歌，想要把一個顛覆性的想法變成產品，需要經過無數層的審批和合規審查。
然后他們走了。
說實話我也不確定這算不算"背叛"。畢竟人家谷歌給了他們八年的薪水、頂級的資源、最聰明的同事，然后他們做出了改變世界的東西。谷歌已經做得夠多了。
但如果你站在一個剛做完顛覆性創新的年輕人的角度想想看。
你掏出了改變世界的武器。
然后你的公司說，"放在抽屜里吧，這個先不急。"
你會有什么感覺？
這個故事有一個極為經典的歷史前綴。
1957年。肖克利半導體。
威廉·肖克利發明了晶體管。但這個人偏執、控制欲極強，對硅基技術的理解其實遠不及他的員工。
于是諾伊斯、摩爾等八位天才出走。
他們離開了肖克利，在加州桑尼維爾和帕洛阿爾托播下了硅谷的種子。
后來這些人創辦了仙童半導體。仙童半導體又走出了更多天才，創辦了英特爾、AMD。喬布斯也從仙童挖了很多人去創立蘋果。
"仙童八叛徒"。
今天硅谷的所有傳奇，都始于這八個受不了老板的年輕人。
而Transformer八子，正在重演同樣的故事。
他們離開谷歌之后，每個人都在做最炸的事情。
諾姆·沙澤爾創立了Character.AI，讓用戶可以和蘇格拉底或馬斯克的人工智能對話。他離開谷歌就是因為堅信對話式AI將取代搜索。
艾登·戈麥斯回到多倫多創立了Cohere，為全球企業提供可定制的、隱私保護的AI大腦。
雅各布·臼克雷特做了最驚人的跨界。他認為蛋白質和RNA序列也是一種"語言"，那Transformer就能用來設計藥物。他的公司Inceptive正在通過AI設計預防下一場大流行的核酸疫苗。
阿西什·瓦斯瓦尼和尼基·帕爾瑪聯手創立了Essential AI，打造能夠像人類一樣操作所有復雜軟件的"行動模型"。
莉昂·瓊斯去了日本，創立了Sakana AI，成為日本AI獨角獸，探索小參數量的高效模型。
伊利亞·波洛舒金參與了NEAR Protocol，構建去中心化計算網絡。
說真的，想想就覺得興奮。
一個公司做不出的東西，八個人散開之后全部做出來了。而且比在谷歌的時候做得好得多。
有一說一，Transformer到底憑什么這么強？
如果說RNN是AI的"順序閱讀器"，那Transformer的核心理念就只有一個詞。
看全部。
它核心用了一種叫"自注意力"的機制。
說人話就是，當模型在處理"bank"這個詞的時候，它會自動去看上下文里出現的是"river"還是"money"。如果是"river"，它就理解成河岸。如果是"money"，它就理解成銀行。
它不是死記硬背。它是動態地調整自己的理解重心。
具體怎么做到呢？
每一個輸入的詞會被轉化為三個向量。
查詢。就像你在YouTube搜索框輸入的一行文字。代表"我想找什么"。
鍵。就像YouTube上千萬個視頻的標題和標簽。代表"我有這些信息"。
值。就像視頻的實際內容。代表"這些是我的具體信息"。
模型計算每個Q和所有K之間的相似度。
相似度越高，說明這個詞跟當前詞的關系越緊密。
然后把這種相似度轉化為權重，對對應的V進行加權求和。
就這么簡單。
數學公式極其簡潔。
一個公式，搞定了翻譯、寫作、圖像理解、代碼生成。
但Transformer最騷的地方還不止于此。
它用了一種叫"多頭注意力"的機制。
如果說單頭注意力是模型的一只眼睛，多頭注意力就是給模型裝了一雙復眼。每個"頭"可以使用不同的線性映射，從不同的子空間去捕捉信息。
一個頭可能專注于語法上的主謂關系。另一個頭可能專注于語義上的代詞指代。再一個頭可能關注時空關系。
并行處理不同視角的信息。
這種能力讓Transformer在理解復雜句式時，表現出了幾乎像人一樣的智慧。
但這也帶來了一個問題。
因為拋棄了RNN的順序處理，模型無法區分詞序。在它看來，"狗咬人"和"人咬狗"是完全等價的。
這顯然不行。
所以團隊引入了一種叫"位置編碼"的東西。
他們用正弦和余弦函數的不同頻率，把位置信息編碼成向量，直接加到詞嵌入上。
就這么一個小小的技巧，讓模型在享受大規模并行計算的同時，依然保留了對序列順序的敏感性。
你想想看。一個數學函數，解決了一個計算問題。然后這個數學函數，改變了人類文明。
我有時候覺得AI的發展史有一種特別奇怪的規律。
每次都是先有算法上的突破，然后發現現有的硬件根本扛不住，然后硬件公司才開始拼命追趕。
Transformer就是這樣一個拐點。
在RNN時代，GPU的流處理器經常因為等待前序計算結果而處于空閑狀態。GPU在那里等著，啥也干不了。
而Transformer把計算轉化成了大規模的矩陣乘法。
這正是硅片最擅長的事情。
英偉達的CEO黃仁勛是第一個反應過來的人。
2024年的GTC大會上，他親自邀請了Transformer八子中的七位登臺。
然后他送了每個人一塊簽名的DGX服務器面板。
上面寫著"你們改變了世界"。
黃仁勛這句話不是客套。他是真的知道這意味著什么。
英偉達隨后的每一代架構都在針對Transformer做特化。Ampere、Hopper、Blackwell。每一代都在解決Transformer帶來的新問題。
Tensor Core的演進。通過硬件單元直接支持高維矩陣乘法。
FP8與Transformer引擎。在H100及以后的芯片中，引入了自動精度調整技術。對于誤差容忍度高的計算層使用8位浮點數，對于關鍵層保留高精度。從而在相同功耗下將吞吐量提升了數倍。
你可以看看業界GPU/TPU/LPU是怎么隨著Transformer一起進化的。
P100，2016年。論文最初使用的GPU。缺乏專用Tensor Core。性能基準設為1.0x。
V100，2017年。第一代Tensor Core。大幅提升半精度訓練速度。性能提升到3.5x。
TPU v2，2017年。谷歌自己的張量處理單元。引入bfloat16精度，專為大規模Transformer集群設計。性能達到4.0x。
H100，2022年。專用Transformer引擎，支持FP8計算。性能暴增25到30倍。
TPU v4，2020年。全局光交換互聯，極大減少節點間通信延遲。系統級性能提升10倍。
Groq LPU，2023年。這是另一個方向的故事。
說到Groq，這公司做的事情特別有意思。
他們提出了一個叫LPU（語言處理單元）的概念。試圖從硬件層面顛覆Transformer的計算范式。
與GPU這種依靠復雜的調度器動態管理任務的架構不同，LPU采用了極其硬核的靜態調度。
時鐘級精確。編譯器在訓練或部署前，就已經精確計算好了每一比特數據在每一納秒應該出現在芯片的哪個位置。
去緩存設計。大規模使用片上SRAM代替顯存。雖然存儲容量較小，但其存取速度比傳統架構快了一個數量級。
這讓Transformer的實時推理達到了每秒數百個Token的速度。
你敢信？
每秒幾百個Token。
你知道這意味著什么。就是你問ChatGPT一個問題，它回答你的速度接近人類閱讀的速度。不再是那種"正在生成中"的進度條在慢慢爬。
但Groq也不是終點。
學術界對Transformer的顛覆從未停止。基于狀態空間模型的架構，比如Mamba，試圖通過線性復雜度的計算來實現與Transformer相當的長文本理解能力。
這預示著算法與算力的博弈將進入下一階段。
從"暴力計算"轉向"精妙調度"。
說實話，想想就覺得興奮。
我們才剛剛開始。
回到最開始的那八個人。
2017年夏天，谷歌園區里那幾個在走廊、咖啡廳和白板前爭論的年輕人。
他們有沒有預見到自己正在拉開人類文明新篇章的序幕？
我猜沒有。
他們只是想看看"注意力能不能獨挑大梁"。
一個很簡單的、很純粹的技術好奇心。
然后世界就被改變了。
我現在每次看到數據中心的燈在閃，就會想起那八個人。
每一顆在數據中心瘋狂跳動的硅片，都在以每秒萬億次的頻率，向那八個在白板前面畫草圖的年輕人致敬。
他們的故事證明了一件事。
改變世界不需要很多錢。不需要很多資源。不需要很多頭銜。
只需要一點點注意力。
和一群敢于挑戰現狀的"學術叛徒"。
以上。既然看到這里了，如果覺得不錯，隨手點個贊、在看、轉發三連吧，如果想第一時間收到推送，也可以給我個星標?～
謝謝你看我的文章，我們，下次再見。
