大模型時代下，AI芯片的技術和應用創新

自2022年底 ChatGPT發布以來，引發了全球范圍內對于生成式人工智能技術（AIGC）的關注。ChatGPT的“火出圈”也給大語言模型（LLM）領域帶來了更多的玩家，模型數量和參數量在過去一年均不斷激增。據不完全統計，僅中國目前的大模型數量就已超過110個，這同時也帶來了對于AI算力需求的劇增。

據英偉達數據顯示，在沒有以Transformer模型為基礎架構的大模型之前，算力需求大致是每兩年提升8倍；而自利用Transformer模型后，算力需求大致是每兩年提升275倍。基于此，530B參數量的Megatron-Turing NLG模型，將要吞噬超10億FLOPS的算力。

隨著大模型參數量增長，ASIC芯片的弱通用性難以應對下游層出不窮的應用，GPGPU受制于高功耗與低算力利用率。如今很多大模型的參數量已經超過了萬億規模，這意味著需要更大規模的算力平臺才能進行如此規模大模型的訓練。在這樣的背景下，存算一體將有望成為繼CPU、GPU架構之后的第三種算力架構，背后還涉及了HBM（高帶寬存儲）、Chiplet等新興技術。

更大規模的平臺還會帶來另外一個問題，即卡與卡之間、不同的節點之間的更多通信，大模型的訓練需要融合多種并行策略，對卡間P2P互連帶寬以及跨節點互聯帶寬提出了更高的要求。隨著模型參數量進一步增加以及GPU算力的成倍增加，未來需要更高的互連帶寬才能滿足更大規模模型的訓練需求。

只有解決上述問題，才能充分挖掘大模型時代的紅利，讓所有人感受到AI時代的便利。11月23日，“2023 中國臨港國際半導體大會” 在上海臨港新片區成功舉辦，同期舉辦的“AI芯片與高性能計算論壇”邀請到來自芯片原廠、上游IP廠商、終端應用廠商以及研究機構的嘉賓，聚焦人工智能、云計算、物聯網等領域的發展趨勢，探討如何利用先進的芯片技術來推動高性能計算的創新。

回歸AI計算的第一性原理

隨著大模型時代的到來，數據搬運量大幅增加，導致計算能耗急速增長，計算效率大大降低，運營和建設成本極高。同時，AI應用進入2.0時代，模型參數量呈現出更快的增長速度，數據搬運速度的剪刀差也越來越大，然而每一次推理計算都需要搬運整個模型參數，存儲墻成為最大痛點。

億鑄科技創始人、董事長兼CEO 熊大鵬博士

億鑄科技創始人、董事長兼CEO 熊大鵬博士在主題為《回歸AI計算第一性原理，存算一體迎大模型時代》的演講中表示，回歸AI計算的第一性原理，也就要回到硬件加速設計的基本定律——阿姆達爾定律(Amdahl Law)，而存算一體架構，可以從根本上解決存儲墻帶來的能耗和算力瓶頸的問題。

據介紹，億鑄在今年首次提出了基于憶阻器的超異構芯片，以存算一體AI加速計算單元為核心，同時將不同的計算單元如GPGPU，CPU進行3D異構集成，即實現更大的AI算力以及更高的能效比，同時提供更為通用的軟件生態，使得CIM AI大算力芯片真正滿足AI算力增長第二曲線的需求。目前公司原型技術驗證芯片（POC）首次流片已回片并點亮，這也是首顆面向數據中心、云計算、自動駕駛等場景的存算一體AI大算力芯片。

Transformer面臨參數規模過大問題

現在以Transformer為代表的各種AI大模型火爆全球，因為在精度跟并行度上的優勢，很多領域現在都能看到它的身影。但這類大模型目前面臨參數規模太大的難題，且還在呈指數增長，現有內存發展跟不上就會頻繁遭遇“存儲墻”。

視海芯圖創始人、董事長 許達文博士

視海芯圖創始人、董事長 許達文博士 在主題為《多模態AI終端芯片》的演講中表示，由于精度高、具備全局特征和多模態、遷移性強等特點，當前很多AI模型的主干網絡正從CNN轉變為Transformer，并以機器人視覺、機器人主控和機器人大算力的路徑，兼顧其他行業應用來開展具體業務，包括代碼生成、AI對話、虛擬教室等應用場景也紛紛落地。

“但Transformer在終端芯片上遇到了因為參數規模太大，NPU利用率低的問題，為此視海芯圖推出了SH1580 Transformer加速SoC芯片，采用自研NPU，配備高性能主核及圖像處理，12nm工藝制造。”據許達文介紹，這款芯片的核心技術是自研PTPU架構，也稱為多態張量處理器（polymorphic tensor processing unit），“由它打造的神經網絡處理器可以對Transformer、Bert這些大模型做針對性加速，同時也能繼續支持傳統的CNN、RNN模型。” 

高端IP對算力芯片極為重要

隨著全球產業信息化向智能化跨越，半導體行業迎來算力等SoC芯片的需求爆發，芯動科技IP研發副總裁 高專 在主題為《高性能計算IP“三件套”：HBM/DDRn、Chiplet、SerDes》的演講中表示，先進工藝大芯片是未來芯片產業的“主戰場”，而這類芯片是IP堆積整合的結晶，既比拼高端工藝，更比拼高端IP。“沒有IP，95%以上SOC公司做不出芯片。先進工藝大芯片，特別是Chiplet技術對成熟可靠的IP依賴更加嚴重。”

芯動科技IP研發副總裁 高專

芯動科技已在一站式高端IP和芯片定制領域耕耘17年，獲得全球主流代工廠百萬片晶圓授權，覆蓋從55nm到3nm工藝全套高速IP核和ASIC定制解決方案，“尤其是12/10/8/7/6/5/3nm等先進FinFET工藝均已流片驗證，全球知名客戶過50億顆SOC芯片背后有芯動技術。”高專說到。

為適應國內上下游企業和芯片產品的迫切需要，芯動推出了國產算力芯片IP“三件套”，包括高端HBM/DDRn系列、兼容UCIe標準的Innolink™ Chiplet系列、SerDes（PCIe6/5）系列，如今高端IP如GDDR6/6X、HBM2E/3、DDR5/LPDDR5/5X、SERDES、Chiplet都已實現量產驗證。”

存算一體架構實現片上DNN訓練

在PC通用性計算時代，CPU因為契合通用基礎算力的需求獲得了長足發展。在移動互聯網/大數據時代，GPU則因為契合數據量激增后并行處理的需求，被眾星捧月。然而，CPU不擅長大規模并行計算，GPU追求高算力的同時忽視了能耗，在智能化時代要滿足海量數據的分析與處理需求，需要進行突破馮諾依曼架構的底層創新——存算一體，也稱存內計算。

蘋芯科技產品市場總監 王菁

蘋芯科技產品市場總監 王菁 在主題為《存內計算在智能計算領域的應用與展望》的演講中表示，存內計算結構可以通過降低數據的移動，大幅提高DNN的計算效率。但是過去的存算結構專注于DNN推理，而并沒有對于DNN訓練有足夠的研究。“相較于DNN推理，DNN訓練對于計算精度有更高的要求，為了實現片上的DNN訓練，浮點計算是一個必須的功能，同時對于張量操作也有更多要求，這對于存內計算的設計也提出了新的要求。”

鑒于此，蘋芯科技提出了基于哈德瑪積形式的BF16浮點存內計算結構，實現浮點的DNN訓練，將存內計算技術更好的應用于DNN的片上訓練，實現應用場景的可定制化，為存內計算技術支撐下一代可穿戴設備、AIoT等更為廣泛的AI應用場景奠定了基礎。“蘋芯的PIMCHIP-S系列端側AI推理芯片系列，搭載SRAM存算一體計算加速單元，能夠高能效、低功耗、低成本地完成多種數據密集型任務。其中PiMCHIP-S300能夠提供1T算力，待機功耗小于100uW，支持多模態，通用性強，工具鏈支持高級語言。”王菁說到。

大模型已經并將持續影響半導體行業

人工智能（AI）是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。從1956年達特茅斯會議上首次提出“像人一樣思考的計算機”，到2022年OpenAI發布ChatGPT，人工智能已經在計算機視覺（CV）、自然語言處理（NLP）、音頻信號處理（ASP）等領域廣泛使用。隨著GPT系列模型的火出圈，全球科技企業從不同角度快速跟進，其中就包括華為在今年開發者大會（HDC）上發布的盤古大模型。

華為制造與大企業軍團 行業解決方案總監 孫磊

華為制造與大企業軍團 行業解決方案總監 孫磊 在主題為《智能世界展望：從高性能計算到大模型》中表示，GPT-4已初步具備自主學習和思考能力，在文本/圖像/音頻/視頻/代碼等腦力勞動場景中已達到人類80%的水平。“預計未來AI的發展將跨越拐點，從‘預測推斷’ 走向‘內容生成’，從替代低端重復性工作的專用領域，走向替代較高端腦力勞作的通用領域。”

如今人工智能進入大模型時代，使用門檻大幅降低，邊際成本逐漸接于零，而Transformer架構則成為大模型中的主流，占比從2019年的26%增長到2022年的49%。“如今，大模型已經并將持續影響半導體行業。” 孫磊說到，華為也在盤古大模型上持續戰略投入，推動大模型在計算機視覺、自然語言處理、多模態、智能檢測和科學智能等行業的規模應用，“對于想要開發自己大模型的客戶，昇騰大模型解決方案可以使能全流程開發與應用創新，鯤鵬HPC解決方案則可以使能軟硬件全棧，實現端到端方案。”

AI能否驅動芯片產業鏈變革？

人工智能如今已經對芯片產業鏈中的設計、制造、封測和應用環節產生了一定影響。AI+芯片設計已經成為可能，尤其是在多層、3D 堆疊和異構集成等需要密集計算設計的任務中勝過人類，而生成式 AI 也為當今和未來 PCB 日益復雜的布局布線（P&R）問題提供了極具吸引力的解決方案。

AI4C應用研究院院長 管震

“幾個月前，有一個用大語言模型成功設計出芯片的案例。”AI4C應用研究院院長 管震 在主題為《AI是否能驅動芯片產業鏈變革？》的演講中表示，其實在EDA行業已經有很多成熟方案，可以利用AI來幫助芯片設計，例如Synopsys.AI的Copilot。“在軟件行業大模型的應用就更多了，在幫助開發人員理解復雜代碼并編寫文檔、評審代碼、提出改進意見并自動生成大量單元測試等方面，大大提升了效率。”

管震強調，大模型應用的潛力應該在“具身智能”上，當整個應用群體都擁有具身智能后，AI就能在社會學、自動駕駛以及群體連接等方面發揮巨大作用。“芯片行業在這波浪潮中的爆發點可能是AI基座，也就是各種大芯片。但在具體應用落地上，可不僅僅是跟ChatGPT聊天這么簡單，你首先需要明確需求，準備好供機器學習的數據，對各種大模型進行選擇和微調，隨后是架構設計、部署優化和用戶培訓。”可能企業不清楚哪款大模型更適合自己，或是具體怎樣用來優化自家流程，這方面AI4C研究院可以提供幫助。

圓桌討論：AIGC給AI芯片帶來的機會和挑戰

最后，在主題為《生成式AI應用的爆發，對AI芯片帶來哪些機會和挑戰？》的圓桌論壇上，主持人AspenCore資深產業分析師黃燁鋒，與億鑄科技創始人、董事長兼CEO 熊大鵬博士、芯動科技IP研發副總裁 高專、蘋芯科技產品市場總監 王菁 以及 AI4C應用研究院院長 管震，就生成式AI的商機、端側和云側生成式AI的區別、盈利模式、本土數據中心大芯片等熱點話題展開了深度對話。