臺積電資深科技院士、研究發展/設計暨技術平臺副總裁魯立忠在VLSI 2026大會主旨報告《Advancing Package and System Integration for Next-Generation AI推進下一代人工智能的先進封裝與系統集成》中表示，先進的2.5D和3.5D封裝已成為下一代人工智能（AI）系統擴展的關鍵技術，以滿足苛刻的性能、能效和帶寬要求。從2D片上系統到3.5D集成的架構范式轉變，給先進封裝技術和系統級設計帶來了深刻挑戰。
現代應用，尤其是大型語言模型（LLM）領域的復雜性和計算需求日益增加，迫切需要創新方法來克服傳統單片集成電路（IC）的局限性。實現更高性能和能效的關鍵瓶頸在于數據移動。與芯片內數據移動相比，分立IC芯片之間的數據傳輸會顯著增加功耗，占用更大的硅片面積，并引入大量的傳播延遲。當數據在單獨的IC封裝之間傳輸時，這種開銷會進一步加劇，其功耗可能比封裝內小芯片到小芯片的通信高出幾個數量級。
大型語言模型（LLM）的訓練和推理工作流程中的許多階段本質上是數據密集型的，經常需要在高帶寬存儲器（HBM）模塊和片上系統（SoC）之間傳輸大量的模型參數。因此，整體系統功耗和延遲往往由這些數據移動操作所主導。一種非常有效的策略是擴大封裝尺寸，在單個集成封裝內集成更多數量的HBM和小芯片，從而減少芯片間數據移動的開銷，進而提高整個系統的功耗和性能。
然而，隨著封裝內集成片上系統（SoC）數量的增加，數據在多個SoC及其互連的二維（2D）芯片間鏈路中傳輸所帶來的功耗和延遲損失可能會變得相當可觀。這種不斷上升的開銷凸顯了向三維（3D）芯片堆疊架構過渡的必要性，這種架構提供了更直接、更短的數據路徑，以減少通信開銷。這些技術的輸入/輸出（IO）密度比傳統的2D芯片間鏈路高出幾個數量級，并允許3D鏈路以2D鏈路數據速率的一小部分運行，同時仍然在帶寬密度上實現了一個數量級的提升。此外，這些低數據速率3D鏈路所需的電路系統要緊湊得多，且能效更高。
盡管性能上有所提升，但芯片的垂直堆疊本質上會增加集成系統的單位面積功率密度和熱阻。因此，一種全面的熱感知設計方法對于確保集成電路的工作溫度保持在可接受的范圍內至關重要，從而同時滿足性能和可靠性方面的約束。
本報告闡述了推動人工智能性能顯著提升和快速增長的三大主要驅動力：（1）持續的半導體技術進步，實現了計算能力和帶寬的顯著擴展；（2）關鍵的熱管理、電源供應和帶寬優化技術，用于穩健的系統設計；（3）關鍵的3D集成電路（3DIC）設計方法創新和生態系統合作，促進了復雜系統的實現。所以本報告的三大部分內容是：
首先，介紹臺積電（TSMC）的3DFabric?高性能計算（HPC）/人工智能（AI）集成平臺，詳細闡述其先進的硅技術、3D硅堆疊和2.5D先進封裝解決方案，將深入探討計算擴展，重點介紹集成技術的進步及其對晶體管密度的影響。
接下來的討論將涉及關鍵挑戰，包括熱設計和技術協同優化，并詳細闡述電源網絡優化技術，將重點關注帶寬擴展，研究橫向擴展、縱向擴展和向外擴展的方法。
最后，將探討生態系統合作在3D集成電路（3DIC）設計自動化和AI代理應用中的關鍵作用，并在結尾部分提出未來發展方向。
半導體技術的發展一直以摩爾定律為指導，不斷追求更高的性能和晶體管密度。為了克服單個芯片的掩模版尺寸限制，2.5D/3D異構集成技術可以將多個芯片集成在一起，集成晶體管總數可望突破萬億級。
臺積電（TSMC）的3DFabric?代表了一種全面的先進異構集成技術，旨在將半導體縮放擴展到傳統單片極限之外。該框架由三大技術類別組成：首先，是先進的硅技術，它代表著持續向更精細的晶體管幾何結構發展的趨勢。其次，是3D硅堆疊技術，系統級集成芯片（TSMC-SoIC?），它允許芯片垂直堆疊，從而實現超高密度和短互連長度。第三，是先進的封裝解決方案，它提供了基于2.5D中介層的解決方案：集成扇出（InFO?）和晶圓上芯片（CoWoS?），它們在共用的中介層上連接邏輯芯片和HBM，以提升性能；而TSMC-SoW?，即晶圓上系統技術，旨在直接在晶圓上進行系統級集成。這些技術共同實現了前所未有的集成水平，對于支持高性能計算（HPC）和人工智能（AI）應用持續的性能需求至關重要。
對于高帶寬存儲器（HBM）集成，管理內存高速數據流的基礎芯片已從傳統的DRAM技術轉變為臺積電（TSMC）的先進邏輯技術。為了進一步提升集成度和性能，CoWoS?再分布層（RDL）中介層嵌入了本地硅互連（LSI）等嵌入式組件，作為小芯片之間的高速高吞吐量通信路徑。此外，還嵌入了集成電壓調節器（IVR）和增強型深溝槽電容器（eDTC），以提高能效。該平臺將臺積電COUPE?（緊湊型通用光子引擎）與電子集成電路（EIC）和光子集成電路（PIC）相結合，后者將電信號轉換為光信號，通過光纖陣列單元（FAU）進行傳輸。SoIC?技術有助于實現頂部和底部芯片的垂直堆疊，從而大幅提高晶體管密度。
臺積電的CoWoS?作為基礎平臺，專為人工智能系統集成的持續擴展而設計。該平臺已從3.3微米光刻尺寸擴展到5.5微米光刻尺寸，并有望進一步擴展到9.5微米和14微米光刻尺寸甚至更小。這反映了在單一封裝內可實現的集成密度和功能復雜性的不斷提高，以實現最終性能。
臺積電的SoIC?技術代表了3D集成領域的重大進步，實現了垂直小芯片堆疊，并具有極精細且直接的芯片間連接（Pitch可達4.5μm）。與傳統平面布局相比，這種垂直堆疊技術可在相同占用空間內使計算邏輯量翻倍，并顯著提高單位面積的計算密度。對于以日益龐大的模型和海量數據集為特征的現代人工智能（AI）工作負載而言，這種增強的計算密度帶來了巨大優勢，使得更多處理單元能夠更緊密地集成在一起，從而縮短數據必須傳輸的物理距離，進而最大限度地降低延遲和功耗。
計算能力擴展（以每個封裝中集成的晶體管數量來量化）預計在2024年至2029年間將增長超過48倍。這一激進的擴展得益于從N7到A14的先進節點技術的進步，以及SoIC?的采用和CoWoS?集成能力從3.3個光罩尺寸擴展到超過14個光罩尺寸。這些進步使得單個封裝內能夠集成數量從2個增加到24個的SoC，從而推動計算能力的顯著增長。
從2024年到2029年，高帶寬內存（HBM）的帶寬預計將增長34倍。這一迅猛增長得益于HBM標準從HBM3向HBM5E的演進、每HBM的輸入/輸出（I/O）數量從1024增加到2048，同時每個I/O的比特率大幅提升了5.7倍，以及集成HBM的數量從8個增加到24個。與此同時，HBM邏輯基礎芯片技術也從DRAM工藝升級到了N3P。這些因素共同推動了超帶寬擴展，這對于未來幾代高性能計算（HPC）和人工智能（AI）應用至關重要。
帶寬擴展是提升計算性能的關鍵推動因素，通常分為三種不同的方法：向內擴展（scale-in）、向上擴展（scale-up）和向外擴展（scale-out）。向內擴展是指增加小芯片之間的帶寬密度并降低延遲，從而在較短距離內實現數據傳輸效率最大化。向上擴展是指在多小芯片封裝內增強帶寬，促進邏輯和內存等不同組件之間的高速通信。相反，向外擴展則滿足不同封裝、系統或機架之間高帶寬和節能數據傳輸的需求，克服了傳統電氣互連在較長距離上的局限性。
臺積電（TSMC）的先進封裝和集成技術為這些擴展維度提供了全面的解決方案組合。對于向內擴展，TSMC的SoIC?技術通過直接且精細的連接實現了多個芯片的垂直堆疊，顯著提高了帶寬密度并降低了單個封裝內芯片間通信的延遲。同時，TSMC的CoWoS?技術通過不斷縮小凸塊間距來促進向上擴展，從而在2.5D中介層上實現邏輯和HBM等組件之間更多高速I/O連接，進而提升封裝內的聚合帶寬。
在2.5D集成中，通過將μBump間距從45μm縮小到35μm，并將工藝技術從N3P升級到A14甚至更高，帶寬密度提高了1.3倍，能耗降低到0.7倍，從而使帶寬密度與能耗比提高了1.8倍。在3D芯片堆疊中，更為顯著的是，利用精細至4.5μm的鍵合間距，與9μm的N7參考相比，帶寬密度提高了4倍，能耗降低到0.37倍。這意味著帶寬密度與能耗比顯著提高了10.8倍，這對于實現先進人工智能通信所必需的高速且節能的數據傳輸至關重要。
通用小芯片互連快速（UCIe）標準提供了對人工智能（AI）發展至關重要的激進帶寬擴展能力。臺積電已在CoWoS?先進封裝平臺上驗證了32Gb/s的UCIe性能，并在重布線層（RDL）轉接板上展示了出色的功耗和延遲特性。通過eDTC選項，可以進一步提升電源完整性。此外，我們還研究了64Gb/s下UCIe 3.0的信號完整性。采用45微米凸點間距和有效的信號屏蔽策略，眼圖展示了64Gb/s操作的穩健性能。35微米凸點間距選項通過縮短走線長度、減少知識產權（IP）面積和提高能效，進一步提升了互連性能。我們的研究結果證實，即使在35微米凸點間距下，64Gbps的信號完整性也足夠。
最后，在橫向擴展方面，臺積電的COUPE?技術將光收發器直接集成到封裝中，實現了高帶寬且節能的光通信。TSMC-SoIC?、CoWoS?和TSMC-COUPE?的協同應用提供了一種前所未有的分層帶寬擴展方法，這對于滿足未來高性能計算、人工智能和數據中心應用不斷增長的數據移動需求至關重要（圖10）。
通過全面的工藝和設計協同優化，COUPE數據速率已超過200 Gb/s。這一成就得益于對光子集成電路微環調制器（MRM）結的優化、EIC驅動器與PIC MRM阻抗的協同設計，以及電感峰化的采用，這些因素共同使整體系統帶寬提升了1.8倍。
每個封裝中晶體管數量的顯著增加直接導致了功耗的升高。得益于計算機架構創新帶來的大規模并行性，以及技術創新帶來的SoIC? 3D堆疊技術，封裝總功耗急劇增長。為了維持人工智能的功耗擴展，需要采用功率傳輸解決方案和熱設計與技術協同優化（DTCO）。
提高功率效率的驅動力要求降低電源電壓。隨著功率密度的提高和Vdd的降低，兩者結合導致需要向封裝提供的電流大幅增加。這種升高的電流密度給電源傳輸網絡（PDN）設計帶來了三個主要挑戰。
A. 電源完整性 由于PDN的寄生電阻和由PDN的寄生電感引起的交流電壓降落，集成電路（IC）對直流電壓降落越來越敏感。這可能會阻止計算內核同時開啟，尤其是在大型語言模型（LLM）訓練和推理過程中常見的苛刻且不穩定的工作負載特性下。
B. 效率降低 通過PDN路徑的I2R損耗隨電流呈二次方增長，導致整體功率效率顯著降低。
C. 可靠性問題 電流幅度可能變得如此之大，以至于引發可靠性問題，如電遷移，尤其是在球柵陣列（BGA）凸點等關鍵互連點處。
在低至中等的電流密度（最高達4 A/mm2）下，封裝和印刷電路板（PCB）技術的進步可以控制封裝網絡（PDN）損耗和電遷移效應，此時優化的主要重點轉向減輕交流（AC）下垂。臺積電（TSMC）提供了兩種不同類型的片上和封裝內去耦電容（decap）來解決這一問題。片上高密度金屬-絕緣體-金屬（MIM）去耦電容的電容密度高達500 nF/mm2，能有效抑制有源器件產生的高頻電源噪聲（通常>100 MHz）。相反，封裝內電介質傳輸線電容（eDTC）的電容密度高達2500 nF/mm2，可提供低阻抗電流源，以滿足中頻（10-100 MHz）下的突發電流需求。
另一方面，在極高電流密度（超過4 A/mm2）下，當無源解決方案無法控制I2R損耗和電遷移時，必須提高集成電路（IC）封裝的輸入電壓以顯著降低電流。這就需要集成如下圖所示的輸入電壓調節器（IVR）。此外，臺積電的晶圓上電感器（OWL）技術能夠將電感器直接集成在晶圓上，該技術可與電源管理IC芯片結合，創建降壓型轉換器。這些轉換器可將封裝的輸入電壓從核心電壓（例如，~0.7V）提高到大于1.8V，從而大幅降低電流密度（超過2.5倍）和直流（DC）損耗（超過6倍）。OWL技術支持快速切換頻率，并有助于實現高閉環帶寬的電壓調節器。這反過來又顯著改善了交流下垂特性。最終，輸入電壓調節器為解決高功率密度條件下上述所有三個電源傳輸挑戰提供了全面的解決方案。
SoIC?技術帶來的晶體管數量翻倍直接導致功率密度提高，需要采用先進的解決方案來緩解。在封裝技術方面，無蓋封裝配置可直接將熱量從載體傳遞到散熱器，繞過傳統蓋子的熱阻。此外，采用高導熱系數載體可增強封裝內的熱傳導性，從而帶來更多改進。同時，設計層面的優化也發揮著關鍵作用。熱點擴散成為最具影響力的設計準則，可有效將集中產生的熱量擴散到更廣泛的區域。虛設鍵合和虛設過孔插入可創建額外的熱路徑，有助于從頂部和底部芯片更高效地散熱。總體而言，這些協同的封裝和設計創新對于緩解日益密集架構中固有的熱挑戰至關重要，從而確保在苛刻的工作負載下保持性能和可靠性。
在SoIC?垂直堆疊中，由于計算SoC、散熱器、DRAM堆疊以及邏輯基礎芯片本身之間復雜的熱耦合，邏輯基礎芯片與計算芯片混合封裝（HBM）的熱管理面臨重大挑戰。緩解熱問題的關鍵策略包括：改善散熱器和熱界面材料（TIM）的熱阻，降低SoC和邏輯基礎芯片的功耗，以及在設計階段實施熱感知布局規劃。這些綜合方法對于確保高功率密度3DIC封裝的性能和可靠性至關重要。
3DIC設計的固有復雜性要求采用協作生態系統的方法來實現設計自動化。沒有任何單一實體擁有全面的專業知識或資源來應對從高級物理驗證到新型架構探索等一系列挑戰。因此，電子設計自動化（EDA）供應商、代工廠、知識產權（IP）提供商和系統集成商之間的緊密合作至關重要。這種協同作用促進了標準化方法、集成工具和穩健設計流程的發展，共同實現了高效可靠的解決方案。這種合作對于充分發揮3DIC技術在先進計算系統中的潛力至關重要。
為了簡化復雜的3D集成電路（3DIC）設計流程，臺積電（TSMC）牽頭開發了3Dblox，這是一種模塊化分層語言，旨在自動化3DIC設計流程。3Dblox于2022年推出，已成為3DIC設計的全球標準，解決了3D堆疊表示的復雜性。該語言將3D組件模塊化為小芯片、接口和連接，為邏輯連接和物理連接提供了一種統一的語言。這種標準化實現了自頂向下的設計方法，促進了小芯片的重用，增強了電子設計自動化（EDA）工具之間的互操作性，并顯著提高了設計生產力。該語言已作為P3537 3Dblox——小芯片連接和物理特性描述語言捐贈給IEEE標準協會，目前正在委員會審查中。
借助能夠捕捉完整3D上下文的3Dblox語言，臺積電與電子設計自動化（EDA）合作伙伴共同打造了一系列實用的生產力解決方案：1）3D集成電路堆疊中的凸塊分配因尺寸、間距和映射模式的不同而變得復雜，再加上小芯片翻轉或旋轉等操作，使得問題更加棘手。為此，臺積電與EDA合作伙伴共同開發了一種新穎的“compile_bumps”方案。該方案利用預定義的3D凸塊模式，使流程自動化，能夠根據布局變化自動計算和動態重新分配凸塊坐標，從而顯著簡化這一復雜的設計階段。2）3D集成電路需要采用整體方法來保護靜電放電（ESD）。傳統的單個小芯片驗證可能會導致設計過于悲觀；然而，考慮到網表拓撲結構的真實3D ESD分析，可以識別堆疊中的低電阻路徑，從而實現更優化的保護。臺積電與EDA合作伙伴在解決所有主要3D ESD類型方面取得了重大進展，減少了不必要的設計裕度。3D天線和設計規則檢查（DRC）的類似應用也受益于3Dblox定義的上下文。3）人工智能（AI）正在被用于3D集成電路（3DIC）中的全局資源優化。EDA工具利用AI引擎在紅外（IR）約束下智能規劃關鍵的3D對象（如電源/地網、凸塊、硅通孔）。這種優化促進了分而治之的策略，將3D設計簡化為可管理的2D實現任務。4）先進封裝的基板設計面臨著高密度逃逸布線、精細線寬和間距、差分對布線、鍍通孔（PTH）規劃和長度匹配等特殊要求的重大挑戰。臺積電與Cadence Allegro路由器共同開發，在大型工業設計中實現了與人工設計相差不到10%的人為質量布線，并且與專業人工設計相比，布線時間減少了兩個數量級。這代表著自動化基板布線能力取得了重大進步。
代理式人工智能（Agentic AI）的集成正在改變3DIC設計在設計流程各個階段的面貌。例如，在高速接口通道優化方面，人工智能被用于關鍵設計優化，通過智能搜索和空間剪枝來確定最佳通道輪廓。其次，人工智能助手在工作流程開發中發揮著越來越重要的作用，例如運行集編碼輔助工具，它有助于自動化腳本生成和優化。電子設計自動化（EDA）知識庫便于訪問積累的大量設計知識。針對特定的設計和驗證任務，正在開發人工智能代理，如物理設計代理，以實現最佳的功耗、性能和面積。設計規則檢查（DRC）代理有助于加快驗證周期。臺積電（TSMC）與EDA合作伙伴攜手，采取戰略性舉措，推動3DIC設計方法向更加自主和高效的方向發展，并致力于最終提升設計質量和縮短上市時間。
結論與未來方向
半導體集成從單片集成向2.5D/3D異構集成的演進，代表著先進計算系統設計與制造方式的根本性轉變。在材料、工藝和封裝技術（如臺積電3DFabric?）持續創新的推動下，半導體行業正成功克服傳統的縮放挑戰。這些先進的集成方法對于維持性能和晶體管密度提升的歷史軌跡至關重要，為未來幾代高性能計算和人工智能應用鋪平了道路，使在可預見的未來內將數萬億個晶體管集成到單個系統中成為可能。
