聊到AI，他突然一臉認真地看著我，說現在大家都在追AI infra這個賽道，動輒多少億美金的盤子，讓我給他講講到底什么是AI infra。
我說你覺得呢。
他想了半天，跟我說，AI infra不就是買GPU搞集群嘛。
這話聽著刺耳，但說實話，一年前我自己可能也是這么想的。
AI infra，不就是幾塊H100搭個集群跑訓練嘛，有什么難的。
后來真系統性地翻了一圈這個方向，看了不少資料，也跟一些做平臺的朋友聊了聊，才發現這個認知偏差，大概值一萬億美金。
是真的。
我看到的最近的數據是這樣的。
2025年第四季度，全球AI基礎設施支出大概900億美金。
到2026年，預計到4870億。
2029年，超過1萬億美金。1萬億。
而且不是什么風口吹起來的泡沫數。
NVIDIA 2025財年第四季度，光數據中心收入就356億美金，同比增長93%。
整個行業已經從「實驗室算力」變成了「產業級供給鏈」。
你去看看IDC的報告就知道了，加速服務器到2029年會占服務器類AI基礎設施支出的95%以上，中國已經是全球第二大市場。
太特么夸張了。
所以我就想，那AI infra到底是什么，如果真的不只是GPU？
我自己的理解是這么一句話。
AI infra不是「幾張GPU加一個訓練腳本」，而是覆蓋算力硬件、互連網絡、存儲、訓練與推理軟件棧、編排調度、可觀測性、MLOps、安全治理、成本優化的一整套系統工程。
你光有GPU真的沒用。
更快更強的卡，如果沒有NVLink或者InfiniBand配合，沒有熱數據層、檢查點機制、隊列治理和可觀測性，很難轉化成業務價值。
這個行業這兩年最重要的一個變化就是，全棧協同比單點最強更重要。
廠商們已經發現，瓶頸往往不在芯片本身，而在互連、在存儲、在編譯器、在調度。
聽著像套話對吧。
我舉個例子你就懂了。
想象你建了一個超算中心，買了最新最貴的GPU，興高采烈跑大模型訓練。
結果第一天發現，數據加載跟不上GPU的胃口，GPU閑著等數據，利用率不到30%。查了一下發現是存儲IOPS不夠，擴了存儲花了十幾萬。
第二天發現，跨節點的通信慢了，NCCL在那等網卡，利用率又掉到50%。
升級了網絡又花了幾十萬。
第三天發現，頻繁OOM，checkpoint寫不進去，磁盤滿了。
第四天發現，訓練總算能跑了，但推理的時候延遲高得嚇人，得重新搭推理棧。
這一圈搞下來，你會發現每一個瓶頸點都不是GPU本身的問題，而是整個系統里最短的那塊板。
你解決完一個，下一個就會出現。這就是系統工程最殘酷的地方。
它不會因為你買了一大堆最貴的零件就自動變好。
你可能覺得這是我瞎編的。真不是。
李沐知道吧，亞馬遜首席科學家，深度學習那本花書的作者之一。他之前寫了一篇文章，講他創業之后搞GPU集群的經歷，我讀完真的是一邊笑一邊嘆氣。
故事是這樣的。他有了錢，第一件事就是去買GPU。問了一圈供應商，統一回復是H100交貨得一年以后了。靈機一動，直接給老黃寫郵件。老黃秒回，說來看下。一個小時后，超微的CEO直接打電話過來了。多付了些錢，插了個隊，二十天拿到了機器。很榮幸早早的吃到了螃蟹。
然后螃蟹吃到懷疑人生。
遇到了各種匪夷所思的bug。GPU供電不足導致不穩定，后來靠超微工程師直接修改BIOS代碼打上補丁。光纖的切開角度不對，導致通訊不穩定，從頭排查。NVIDIA官方推薦的網絡布局不是最優的，他們自己重新做了一個方案，后來NVIDIA自己也采用了這個方案。
他至今都不理解。他就買了不到一千張卡，算小買家。但遇到的這些問題，難道大買家沒遇到過嗎，為啥需要他來debug？
更離譜的是，他們同時還租了同樣多的H100。租的也一樣是各種bug，GPU每天都出問題，甚至懷疑是不是這個云上就他們一個吃螃蟹的。后來看到Llama 3的技術報告，說他們改用H100后，訓練一次模型被打斷幾百次。沐神表示，對字里行間的痛苦，很是共情。
你看，買卡買到要直接給CEO級別的寫郵件。用卡用到要改BIOS打供電補丁。連光纖都要自己排查切割角度。網絡架構搞到NVIDIA反過來抄你的方案。租卡也一樣不斷被bug打斷，訓練一次模型被打斷幾百次。
連李沐這種級別的玩家都這樣。那你說AI infra到底是什么復雜度？
他還分享了一個很有信息量的對比。
如果自建和租卡比，租三年成本和自建成本差不多。租卡的好處是省心。
自建的好處有兩個，
一是NVIDIA如果持續領先，它能控制價格使得GPU保值；
二是自建的數據存儲成本低。存儲需要跟GPU離得近，不管大云還是小GPU云，存儲價格都高。
一次模型訓練用幾TB空間存checkpoint很正常，訓練數據存儲是10PB起跳。如果用AWS S3，10PB一年兩百萬美金。
這錢用來自建，可以上100PB。
所以這個選擇本身就是一個infra問題。
整體拆分一下，一個正經的AI基礎設施，大概需要多少東西呢。
先看硬件層。
CPU負責控制面、數據預處理和調度。GPU負責通用高密度矩陣計算。TPU或自研ASIC在特定軟件棧下追求更高性價比。FPGA在低延遲和邊緣場景里還有自己的價值。
然后是顯存，HBM3、HBM3e，帶寬從3.35TB/s到4.8TB/s。然后是存儲，NVMe、并行文件系統、對象存儲。
然后是互連網絡，NVLink、InfiniBand、RoCE。你光理清楚這些硬件的搭配關系就能折騰好一陣子。
再看平臺層。Kubernetes或者Slurm負責調度和編排。容器運行時、鏡像管理、配額和租戶隔離。訓練框架這塊，PyTorch生態講實話已經是事實標準了，加上DeepSpeed的ZeRO和檢查點機制。推理這塊是過去兩年變化最大的，vLLM對KV Cache和吞吐的優化，TensorRT-LLM和Triton對NVIDIA棧的深度綁定，KServe在K8s原生部署上的統一。
然后是數據層。Spark做批處理ETL，Kafka做流式總線，Iceberg做湖倉表格式管理。如果你做推薦或者風控場景，還有特征平臺，Feast或者Hopsworks，要保證訓練和服務之間的一致性。你別小看這一層，很多團隊訓練跑著跑著發現效果不對，查了半天是訓練數據和推理數據的特征不一致，一個大學問。
運營層更是大頭。可觀測性正在向OpenTelemetry這個標準收斂。MLOps有MLflow做實驗跟蹤和模型注冊。CI-CD有Argo CD和GitLab。安全合規有IAM、密鑰管理、審計、NIST AI RMF框架。成本治理有FinOps。
你數數看，這有多少個組件。
而且它們不是獨立的，是要配合的。一個組件出問題，整條鏈路就卡住了。這就是為什么現在做AI infra的人越來越強調系統化視角，而不是一個個單點去堆。
回到賽道本身。
廠商格局上，可以分成幾層來看。
最上面一層，自然是以NVIDIA為核心的通用GPU與機架系統。H100已經是上一代了，H200把HBM從80GB翻到了141GB，帶寬從3.35TB/s提到了4.8TB/s，在大上下文、長序列推理上優勢明顯，Llama2 70B推理最高能有28%的提升。AMD是主要的替代者，MI300X那192GB的HBM確實能打。
再下來一層，是云廠商自研的加速器，Google的TPU和AWS的Trainium，Trainium2官方稱比P5e和P5en有30%到40%更好的price-performance。
然后才是云平臺與托管AI服務，AWS的SageMaker HyperPod、Google Vertex AI、微軟的Azure AI。
最底層，是開源社區與基金會，CNCF、PyTorch Foundation、Linux Foundation和MLCommons。
行業的事實重心，已經從「單芯片競賽」轉向了「芯片加互連加編譯器加運行時加調度加成本治理」的全面棧競爭。
你說卷不卷？？？
還有一個角度我聊著聊著自己都覺得有意思。過去兩年，推理不再是訓練后面的附屬環節了。
過去大家最關心的是訓練，能訓出模型就是勝利，訓練能力就是一切。
但現在，推理已經開始主導架構設計。
廠商們越來越強調的不是TFLOPS，不是理論峰值，而是tokens/s、cost per token、延遲和彈性擴縮。
NVIDIA自己都在反復強調lowest token cost，而不是peak compute。
這個轉變很重要。
因為說到底，AI infra從「造火箭」變成了「運營工廠」。
你想想看。你要考慮的不是發射一次能飛多高，而是每天能穩定產多少、成本多少、故障了怎么恢復。
不是能不能訓出來，而是能不能長期以可接受的TCO運行。如果你沒有FinOps、配額、隊列治理和性能基線，團隊很容易把預算燒在低利用率和重復試驗上。
說到這，我想聊聊一個我自己覺得很有意思的類比。
回頭看歷史，AI infra現在這個階段，特別像1880年代的電力。
那時候愛迪生的直流電和特斯拉的交流電在打架，工廠主們知道電是未來，但不知道怎么用。
他們一開始把電當成蒸汽機的替代品，在工廠里裝一個巨大的發電機，通過天軸和皮帶把所有機器連起來。
后來才發現，真正改變生產效率的，不是把蒸汽機換成電動機，而是重新設計整個工廠的布局。
讓每一臺機器都有自己的電動機，生產線按流程而不是按動力源來排布。
這個轉變花了大概三十年。
AI infra現在就是在經歷同樣的事。大家已經過了「裝個發電機就能跑」的階段，開始意識到需要重新設計整個「工廠」。只是這次壓縮到三五年，而且涉及的成本是人家的三十倍。
你想想看。一個超大規模GPU集群的用電量已經堪比一個小型城市。
國際能源署IEA的預測是數據中心用電到2030年會翻倍以上，達到945TWh。
2025年已經增長了17%。這已經不是技術問題，是能源問題了。
Google在這方面的做法挺實在的，他們按流域風險評估冷卻方案，把可持續性寫成了數據中心設計的公開原則。
一個AI infra的問題，聊著聊著聊到了能源，聊到了地球，聊到了水資源。
這就是我之前說的那種感覺，好的技術話題，總是聊著聊著就到更大的文化層面去了。它不是孤立的。
那說到法規和主權約束。
這個就更繞不開了。
在歐盟，有EU AI Act，一套非常嚴格的人工智能監管框架。
在中國，面向境內公眾提供生成式AI服務，需要關注《生成式人工智能服務管理暫行辦法》以及備案、標識等要求。
在美國，NIST AI RMF提供了風險治理框架。先進計算和AI芯片的出口與供應鏈，現在也受BIS規則影響。
也就是說，AI infra從來不是純技術問題，它天然帶有法律、主權和供應鏈屬性。
我記得以前看一篇文章講到一件事，一個做AI infra的工程師說，他每天思考的問題排優先級，排在第一位的不是「能不能再快10%」，而是「萬一整個集群斷電了，我的checkpoint能不能扛得住」。
這個排序本身就說明一切了。
這又引出一個問題。生態鎖定。
鎖定既可能來自硬件。
你買了1000塊H100，你的整個推理棧就綁在CUDA和TensorRT上。想切AMD的ROCm？切不動。需要從零開始做性能驗證和算子適配。
鎖定也可能來自云平臺。你的訓練流水線完全構建在SageMaker上，想遷到Vertex AI？可能比換GPU還難。
鎖定還可能來自編譯器、模型格式、可觀測性體系，甚至是團隊習慣。
所以行動上最穩妥的策略，一般不是在每一層都追求廠商中立。
那是不現實的。而是在可移植的層面盡量保持開放標準。
Kubernetes、OpenTelemetry、MLflow、Iceberg這些，換哪個廠商都能用。
在最能帶來業務杠桿的層面，謹慎接受必要的鎖定。
這樣既能吃到生態紅利，也能降低遷移代價。
好，那核心問題來了。如果你真的想進入AI infra這個行業，或者你的團隊已經在搞AI infra了，該從哪下手？
我自己看下來，有一條非常明確的感覺。不要過早追求全家桶平臺，先選一條主線做深做透。
市面上有太多所謂的「一站式AI平臺」了。裝完一看，功能全有，但每一個都用不起來。還不如先把一條線跑通，跑通了再橫向擴展。
根據我翻的資料和跟行業里朋友聊的，最現實的四條路線是這樣的。
第一條，云原生平臺加SRE路線。用Kubernetes搭一個GPU集群，接入Prometheus和OpenTelemetry，能發布并回滾一個KServe或vLLM服務，能跑一個完整的訓練推理pipeline。三個月內完成一個GPU集群搭建和基礎告警體系。六個月內積累一份事故復盤文檔。一到三年內拿下KCNA或者CKA認證，能夠主導平臺升級和遷移。這條路線對已經有運維或者K8s背景的人來說，上手門檻相對最低，而且證書能幫你敲開門。
第二條，推理工程加LLMOps路線。跑通vLLM或者KServe，做吞吐和延遲的benchmark，真正搞懂量化怎么做、batching怎么調、KV cache怎么優化。目標是把cost per token、GPU利用率、P95延遲聯動起來做優化。三個月內出一份公開的benchmark報告。這條現在是最熱的，因為推理正在成為主導場景。如果你能在一段時間內把vLLM的吞吐調優翻倍，這個signal比你想象的強很多，面試的時候直接甩報告就行了。
第三條，分布式訓練加性能路線。用PyTorch加DeepSpeed或者Ray在兩到八卡規模上做微調、做檢查點恢復、做profile。然后進階到跨節點RDMA、拓撲調優、容錯訓練。目標是能解釋并且優化dataloader、通信、顯存、checkpoint四類瓶頸。這條路線對技術深度的要求最高，適合想做平臺底層或者專職性能優化的朋友。NVIDIA DLI也提供了不少相關的課程，可以去看看。
第四條，國產棧加自主可控路線。在阿里云PAI、華為昇騰CANN加MindSpore、或者百度飛槳上跑通分布式訓練和推理。交付兼顧性能、合規和本地生態適配的平臺。對于中國市場導向的團隊，這條的優先級越來越高。出口管制和合規要求不是紙面上的東西，是真的在影響供應鏈的。今年很多團隊提前囤卡、加速國產測試就是這個原因。
你看，這四條線，沒一條是讓你先去讀論文的。
說實話，這也是我看了這么多資料之后最大的感受。
AI infra這個行業，最稀缺的能力不是你會不會背NCCL的八股，不是你會不會寫training script，而是你有沒有親手把訓練卡死、推理打爆、磁盤打滿、再把它們一個個都救回來的經驗。
能把「學習」盡快變成「成本可見、性能可測、故障可復現」的作品集，比什么簡歷都管用。
有個做AI infra的朋友給我講一個觀點。
面試的時候，如果一個人跟我說他讀過多少論文，參加過多少培訓班，我可能只會點點頭。但如果他跟我說，上次把訓練跑OOM了，是怎么看nvidia-smi發現顯存泄漏的，怎么用PyTorch profiler定位到是某個算子的實現問題，怎么用checkpoint把實驗救了回來，然后為了不再出事，自己給團隊搭了一套告警和自動恢復的策略。
這個故事講完，我深刻認為他說的太對了。
因為前者是知識，后者是判斷力。
而判斷力才是AI infra這個領域最有復利的東西。它來自你親手處理過足夠多的真實故障，來自你把系統、硬件、網絡、數據、平臺、運維、成本和治理真正放到同一張工程賬上算過。
回到文章的開頭。
很多朋友可能覺得AI infra離自己很遠，是那些大廠、頂級研究機構才需要關心的事。但我覺得不是。每個在用AI的人，其實都在和AI infra打交道。
你用ChatGPT的時候，那個token生成速度、那個能否在高峰期訪問、那個會不會斷連，背后都是一整套基礎設施在支撐。
你買了幾張卡跑LoRA微調，你要搭環境、配CUDA、處理OOM、考慮電費，那你就是就是一個小型的桶裝數據中心。
你以為你只是用一下AI工具，其實背后都是AI infra了，只是你自己沒意識到。
所以我越來越覺得，這塊東西其實挺值得被更多人理解的。
最后給你們分享一段話。我在翻資料的時候看到的，原文來自CNCF的Cloud Native AI白皮書，但我覺得它說得特別好。
AI infra不是更大的DevOps，也不是更底層的ML工程，而是把系統、硬件、網絡、數據、平臺、運維、成本和治理真正壓到同一張工程賬上的行業。
我覺得這個判斷特別準。
進入某個這個行業，最有價值的能力將不是你會某個具體的工具，而是你能跨層做取舍，并且能用數據證明你的取舍是正確的。
這大概就是未來三到五年最稀缺、也最有復利的能力。
好，今天就聊到這兒。
以上，既然看到這里了，如果覺得不錯，隨手點個贊、在看、轉發三連吧，如果想第一時間收到推送，也可以給我個星標?～
謝謝你看我的文章，我們，下次再見。
