Tensordyne宣稱芯片速度與能效大幅超越英偉達，依托對數運算加速AI推理

若仿真數據可信，初創公司Tensordyne推出的全新AI芯片，在推理任務的能效與延遲表現上，有望大幅碾壓行業龍頭英偉達。該公司首款芯片已流片投產，搭載72顆芯片的整機系統計劃于2027年下半年正式商用。Tensordyne聲稱，這套72芯片整機運行大型大語言模型時，運算速度可達72塊英偉達GB300組成的系統的4倍，功耗僅為后者的五分之一。不過，能驗證該數據的實體硬件設備要到今年年底才會問世。

這款名為Napier的芯片之所以能實現超高能效，其核心獨門技術在于處理AI核心運算 —— 矩陣乘法的獨特方式。該方案利用對數運算特性：兩數乘積的對數，等于兩數對數之和。

“我們把乘法運算轉化成了加法運算。”Tensordyne創始人、AI副總裁Gilles Backhus解釋道。他表示，加法器電路比乘法器體積更小、能耗更低。因此Napier芯片能在更小的芯片面積內集成更多算力，同時降低功耗。

其實業界很早就知道這種運算方式具備可行性，但始終沒有成熟落地方案：在神經網絡通用的浮點數與對數數值之間來回轉換，會耗費大量算力、電能，還會產生嚴重精度損失。Backhus表示，如今該瓶頸已被攻克。

“此前沒有任何團隊能實現我們這套線性數值與對數數值的雙向轉換機制，這也是整套技術最核心的關鍵。我們的工程師設計出了一套硅芯片實現方案，轉換流程簡潔優雅、精度極高，硬件實現成本也很低。”

AI行業早已充分認識到數值格式的重要性。2023年IEEE Hot Chips上，英偉達首席科學家Bill Dally曾表示，當時英偉達GPU的性能提升，絕大部分歸功于短位寬數值格式及其配套的小型運算電路。

科研人員也一直在研發適配另類數值格式的硬件電路，例如類對數的Posit數值格式，以及近年面向科學計算推出的同系列Takum格式。但這類格式始終沒能成為主流，核心原因是它們的硬件實現邏輯與傳統浮點數差異巨大，落地成本極高。

各類市場趨勢（AI智能體的興起便是其中之一）表明：神經網絡模型的推理運算，其重要性已超越大語言模型（LLM）的訓練環節。使用成本、響應時延等指標逐漸成為核心考量，這也促使各家AI企業開始研發更適配推理場景的系統架構。

Tensordyne的管理層表示，公司早已預判到這一行業趨勢，并針對性設計了自家硬件產品以匹配該需求。

大語言模型的推理運行分為兩大核心階段：預填充（Prefill）與解碼（Decode）。在預填充階段，模型讀取輸入文本并轉換為可運算的基礎單元Token，同時生成用于存儲輸入上下文的臨時內存，也就是鍵值緩存（KV Cache）。該階段屬于計算密集型任務，算力消耗極大。

解碼階段是大模型生成輸出文本、給出用戶答復的環節。每一個新Token都要結合前一個Token與完整KV緩存進行預測。這種串行生成的特性導致解碼速度普遍更慢，相比算力，它對內存帶寬、網絡延遲的依賴程度更高。

正因如此，AI芯片廠商在設計硬件系統時，都會針對性兼顧兩類截然不同的負載需求。英偉達推出了異構部署方案：一臺滿載B300 GPU的服務器機柜負責預填充計算，多臺搭載Groq 3處理器的機柜專門承擔解碼任務。亞馬遜云科技（AWS）則采用另一套組合：一組Trainium訓練AI芯片機柜處理預填充，搭配多臺Cerebras晶圓級計算機負責解碼工作。

Tensordyne稱自家系統可同時勝任預填充與解碼兩類任務。公司聯合創始人兼首席產品官R.K. Anand表示：“我們同時針對兩大棘手難題做了深度優化。我們是首家證實無需搭配多家廠商硬件、多組機柜，單套設備就能兼顧兩種運算場景的企業。”

預填充階段所需的高密度算力依托對數運算架構實現；而解碼階段的性能需求，則由144GB高帶寬內存，以及自研低延遲互聯網絡Tensordyne Napier Link支撐，該網絡延遲僅1微秒。

Tensordyne推出的單機艙（Pod）僅占用標準機柜四分之一的空間，內部集成72顆Napier芯片、8顆英特爾至強CPU以及64TB固態硬盤。

該公司表示，一套由四個機艙組成的機柜運行2萬億參數大語言模型時，單用戶每秒可輸出1300個Token，每百萬Token成本僅11美元，整機功耗120千瓦；其中1個機艙負責預填充運算，另外3個承擔解碼任務。Tensordyne稱，若要達到同等單用戶Token輸出速度，一套由9組機柜搭建的Rubin+Groq 3系統功耗或將高達1.5兆瓦。

上述各項性能數據是否屬實，要等到今年晚些時候才能驗證。Tensordyne計劃上線云端測試版供客戶試用，并預計在一年后正式向客戶交付整套硬件系統。