芯科技圈分享來自鎧俠（KIOXIA）在2026 IEEE VLSI Symposium的報告《3D Flash Memory Technology for the AI Era》。
文章圍繞生成式 AI 帶來 KV 緩存、RAG 向量檢索兩類差異化存儲負載需求，指出傳統 CPU 中轉式 SSD 架構、3D Flash 芯片器件與常規封裝方案存在帶寬、延遲、功耗、并行度多重瓶頸，依次從存儲陣列字線 / 位線分段提出 3D 閃存必須完成器件 - 電路 - 封裝全棧協同設計，讓 SSD 從傳統外設轉變為支撐大模型推理、可直連 GPU 的核心 AI 算力存儲載體。
全文遵循行業痛點→AI 存儲特殊需求→芯片器件優化→封裝方案選型→未來 SSD 演進→總結」遞進邏輯，完整目錄框架：
行業背景與研發動因
AI 應用場景對存儲的系統硬性需求
面向 AI 優化的 3D 閃存芯片架構：字線 / 位線分段、CBA 直接鍵合高速接口
封裝技術對 AI 閃存的支撐作用：傳統引線鍵合、垂直引線 + RDL 中介層、TSV 三種方案對比
AI 時代 SSD 產品發展愿景
1. 生成式 AI 爆發帶來存儲底層需求劇變
大模型訓練算力、訓練數據集規模呈指數級上漲；LLM 推理產生海量 KV 緩存，RAG 檢索需要高頻稀疏小粒度讀取，傳統 SSD 僅做后置大容量存儲，無法匹配 AI 特殊數據流。
2. 傳統 CPU 中轉傳輸架構存在嚴重帶寬瓶頸
傳統鏈路：SSD→系統 DRAM→CPU→HBM，多層拷貝占用大量算力與帶寬，延遲高、IO 效率低，無法支撐多用戶并發 KV 緩存、向量檢索。
3. 現有 3D Flash 原生硬件無法適配 AI 兩種數據訪問特征
AI 同時存在KV 緩存大塊順序讀寫、RAG 向量庫稀疏小粒度隨機讀，傳統閃存單平面架構并行度不足、讀寫延遲高、隊列深度難以滿足 Little’s Law 算力需求。
4. 傳統 3D Flash 器件 RC 延遲高、帶寬上限低
傳統鎢（W）字線電阻大、位線寄生電容高，讀寫 RC 延遲拖慢 IO 速度；常規外圍電路與存儲陣列分離，接口帶寬上限僅 3.2Gbps，無法飽和 GPU 直傳帶寬。
5. 傳統封裝方案功耗、IO 密度不滿足 AI 高并發需求
傳統側邊引線鍵合隨 IO 速率提升功耗線性暴漲，無法匹配 AI 服務器高 MIOPs 運行指標，電源完整性、裸片堆疊 IO 數量受限。
01：AI 重構存儲定位，SSD 不再是輔助外設，而是 AI 系統核心算力支撐
大模型 KV 緩存卸載、RAG 向量檢索高度依賴 SSD；需要從傳統 CPU 轉發，升級為GPU 直連 SSD的數據通路，跳過系統 DRAM 減少拷貝開銷，提升整機吞吐。
傳統CPU中轉鏈路
GPU直連SSD優化鏈路
02：AI 存在兩類完全不同的數據訪問模式，閃存硬件必須同時兼容
KV 緩存：大粒度順序訪問，需要超大并行度、高帶寬；
RAG 向量數據庫：極小粒度稀疏隨機讀取，需要海量并行平面降低單頁讀寫延遲； 依托 Little’s Law \(Q_d=L×T\)，只有提升并行隊列深度才能兼顧低延遲與高 IOPS。
03：芯片端全鏈路器件優化，從字線、位線、晶圓鍵合三層提升閃存并行與帶寬
AI多分段小平面架構
TSV堆疊封裝
僅優化芯片或封裝單一環節無法滿足 LLM、RAG 混合負載；需要同步完成存儲陣列分段、金屬材料迭代、CBA 鍵合、高密度封裝一體化設計，才能同時兼顧順序大帶寬與稀疏高 IOPS。
06：下一代 AI SSD 將從被動存儲，升級為 AI 推理的主動加速組件
通過硬件原生并行架構、高速 GPU 直連接口、高密度堆疊封裝，SSD 可直接承載海量 KV 緩存與向量數據庫，降低 HBM/DRAM 容量壓力，實現 AI 集群算力橫向擴展。
免責聲明：內容基于網絡公開報告，僅供學習交流。版權歸原機構所有，侵權請聯系刪除。
半導體基礎從入門到精通寶典-寶藏級（滿滿干貨 建議收藏）
