AI新時代，決勝于系統(tǒng)層面

Arm云AI執(zhí)行副總裁Mohamed Awad

我們已經(jīng)過了僅憑演示效果來評判人工智能 (AI) 基礎設施的階段。如今，更關鍵的問題在于，這些能力能否以可靠、可擴展且具備成本效益的方式交付。這正是我們在設計下一代 AI 基礎設施過程中，與云服務提供商、芯片合作伙伴及系統(tǒng)構建商共同面對的挑戰(zhàn)。

在電力、空間和預算等現(xiàn)實約束下，行業(yè)需要支撐不斷增長的 AI 推理工作負載，更要能夠為客戶提供持續(xù)創(chuàng)造價值的服務。這一挑戰(zhàn)正在重塑基礎設施設計：從關注單個芯片和服務器，到關注整個機架；從提升單個組件性能到優(yōu)化整個系統(tǒng)。

我們得出一個明確的結論：AI 基礎設施不會走向單一的通用設計。智能體 AI (agentic AI) 需要系統(tǒng)級的優(yōu)化，不同工作負載將需要不同架構。我們希望為生態(tài)系統(tǒng)提供統(tǒng)一的基礎，同時讓合作伙伴能夠在最具價值的領域?qū)崿F(xiàn)差異化創(chuàng)新。原因如下：

機架成為新的計算單元

處理器插槽和單臺服務器仍然是計算體系的重要基礎，但在 AI 時代，僅關注這些已遠遠不夠。

在機架層面，AI 基礎設施構建者能夠統(tǒng)籌優(yōu)化整個系統(tǒng)中的計算、內(nèi)存、網(wǎng)絡、電力及散熱資源。這些機架將成為集群、超大規(guī)模集群，以及跨多個數(shù)據(jù)中心園區(qū) AI 部署的基礎模塊。隨著智能體 AI 的算力需求大幅攀升，基礎設施必須持續(xù)實現(xiàn)更高效率與資源利用率，同時控制成本。

智能體 AI 將基礎設施要求推向新高度

隨著 AI 從簡單的提示詞問答模式逐步演進至智能體工作流，這種系統(tǒng)級視角變得愈發(fā)重要。

AI 智能體并不會在生成答案后就停止運行。它需要整合上下文信息、選擇合適的模型、調(diào)用相應的工具、存儲和檢索狀態(tài)信息、路由請求，并持續(xù)監(jiān)測和評估執(zhí)行結果。

智能體 AI 讓系統(tǒng)協(xié)同設計變得至關重要，因為最高效率并非來自對每個組件進行單獨優(yōu)化，而是來自讓整個系統(tǒng)協(xié)同工作，實現(xiàn)整體優(yōu)化。

從模型吞吐量轉(zhuǎn)向?qū)嶋H任務完成度

這一演進也正在改變我們衡量 AI 基礎設施的方式。每秒生成 Token（詞元）的數(shù)量和模型時延依然十分重要，但這些指標并不能說明智能體是否真正完成了任務。

用戶真正關心的是任務是否被準確完成；而基礎設施運營者更關注資源利用率、可靠性、能耗以及實現(xiàn)這一結果所需的成本。

系統(tǒng)制造商如今不再只關注孤立的模型性能，而是進一步衡量任務完成時間、每項成果的成本、利用率、可靠性，以及貫穿整個工作流的能效表現(xiàn)。

在數(shù)據(jù)中心層面，任何細微的低效都會被放大。更優(yōu)秀的系統(tǒng)設計能夠提高資源利用率、減少空閑時間，并從有限的電力和空間資源中獲得更多產(chǎn)出。

系統(tǒng)級優(yōu)化離不開多樣化選擇

Arm 的平臺涵蓋 Arm IP、Arm 計算子系統(tǒng) (Compute Subsystems, CSS)、合作伙伴設計的芯片與 Arm AGI CPU，并由開源智能體軟件棧提供支持。這讓合作伙伴可以自主選擇差異化創(chuàng)新的方向、系統(tǒng)自研的程度，以及產(chǎn)品推出的速度。

部分合作伙伴將圍繞特定工作負載或服務打造高度定制化芯片，另一些則會借助計算子系統(tǒng)加快集成，同時保留差異化創(chuàng)新能力。合作伙伴自研芯片也將持續(xù)為市場帶來面向特定場景的專用能力。而 Arm AGI CPU 則為構建滿足智能體 AI 需求的基礎設施提供了一條加速落地的路徑。

工作負載、運行環(huán)境、商業(yè)模式與部署需求差異顯著，無法采用一刀切的做法來滿足所有場景需求。隨著 AI 基礎設施向?qū)Ｓ没l(fā)展，云服務提供商、芯片合作伙伴、系統(tǒng)構建商以及軟件開發(fā)者都需要具備足夠的靈活性，圍繞實際業(yè)務需求打造最適合的基礎設施。

規(guī)模化運營時代

作為整個行業(yè)的一員，我們正加速推動先進模型能力實現(xiàn)規(guī)模化落地，以可靠、高效且面向全球規(guī)模的方式創(chuàng)造實際價值。

基礎設施建設者希望加快創(chuàng)新步伐。而實現(xiàn)這一目標，需要一個開放協(xié)作的生態(tài)系統(tǒng)，在機架級層面整合計算、網(wǎng)絡、存儲、軟件、供電和散熱等關鍵能力。這正是 Arm 與合作伙伴攜手共建的未來。

– 結束 –