在日前舉行的Aspencore?2024全球CEO峰會上，炬芯科技股份有限公司董事長兼CEO周正宇博士深入探討了AI時代熱潮及端側AI所帶來的新一代AI趨勢，并分享了炬芯科技在低功耗端側AI音頻領域的創新技術與重磅產品。
在日前舉行的Aspencore 2024全球CEO峰會上，炬芯科技股份有限公司董事長兼CEO周正宇博士發表了題為《Actions Intelligence: 端側AI音頻芯未來》的主題演講。在演講中，他深入探討了AI時代熱潮及端側AI所帶來的新一代AI趨勢，并分享了炬芯科技在低功耗端側AI音頻領域的創新技術與重磅產品。
炬芯科技股份有限公司董事長兼CEO周正宇博士
周正宇博士指出，在從端側AI到生成式AI的廣泛應用中，不同的AI應用對算力資源的需求存在顯著差異。特別是在以語音交互、音頻處理、預測性維護、健康監測等為代表的AIoT領域，許多端側AI應用是專項應用，并不需要大模型和大算力。因此，炬芯科技的目標，是“在電池驅動的中小模型機器學習IoT設備上實現高能效的AI算力，以滿足IoT設備對低功耗、高能效的需求。”
針對這一目標，炬芯科技提出了“Actions Intelligence”戰略，該戰略聚焦于模型規模在一千萬參數(10M)以下的電池驅動的低功耗音頻端側AI應用。炬芯科技致力于在10mW-100mW之間的功耗下提供0.1-1TOPS的通用AI算力，挑戰目標10TOPS/W-100TOPS/W的AI算力能效比。
根據ABI Research的預測，端側AI市場正在快速增長，預計到2028年，基于中小型模型的端側AI設備將達到40億臺，年復合增長率為32%。到2030年，預計75%的這類AIoT設備將采用高能效比的專用硬件。
然而，現有的通用CPU和DSP解決方案在算力和能效方面遠遠達不到這些目標。周正宇博士分析稱，傳統技術的能效之所以比較差，主要源于在傳統的馮•諾依曼計算架構中，存儲和運算是分離的，存在“存儲墻”與“功耗墻”瓶頸，嚴重制約系統算力和能效的提升。
為了弱化或消除這些問題，炬芯科技采用了存內計算(Computing-in-Memory，CIM)結構，其核心思想是將部分或全部的計算移到存儲中，讓存儲單元具有計算能力，從而消除數據訪存延遲和功耗，實現存儲與計算的真正融合。
在選擇存儲介質時，考慮到單芯片集成的需求，炬芯科技采用了標準SoC適用的CMOS工藝中的SRAM和新興NVRAM(如RRAM或者MRAM)。SRAM工藝非常成熟，且可以伴隨著先進工藝升級同步升級，讀寫速度快、能效比高，并可以無限多次讀寫?？梢哉f，短期內，SRAM是在低功耗端側AI設備上打造高能效比的最佳技術路徑。長期來看，當RRAM技術成熟以后，SRAM與RRAM的混合技術有望成為最佳技術路徑。
在此基礎上，炬芯科技還創新性地采用了基于模數混合設計的電路實現CIM，在SRAM介質內用客制化的模擬設計實現數字計算電路，既實現了真正的CIM，又保證了計算精度和量產一致性。這種基于模數混合電路的SRAM存內計算(Mixed-Mode SRAM based CIM，簡稱MMSCIM)技術路徑具有顯著的優勢，包括比純數字實現的能效比更高、無需ADC/DAC、數字實現的精度和量產一致性高、易于工藝升級和不同FAB間的設計轉換等。
目前，炬芯第一代(GEN1)MMSCIM已經在2024年落地，采用22納米制程，每一個核可以提供100 GOPS的算力，能效比高達6.4 TOPS/W @INT8。而在后續的產品路線圖規劃中我們看到：
到2025年，炬芯科技將推出第二代(GEN2)MMSCIM，性能將相較第一代提高三倍，每個核提供300GOPS算力，直接支持Transformer模型，能效比也提高到7.8TOPS/W @INT8。
2026年，推出12納米的第三代(GEN3)MMSCIM，每個核達到1 TOPS的高算力，支持Transformer，能效比進一步提升至15.6TOPS/W @INT8。
基于MMSCIM技術，炬芯科技成功打造出了下一代低功耗大算力、高能效比的端側AI音頻芯片平臺，并正式發布了三個芯片系列：面向低延遲私有無線音頻領域的ATS323X、面向藍牙AI音頻領域的ATS286X、以及面向AI DSP領域的ATS362X。
這三個系列芯片均采用了CPU(ARM)+ DSP(HiFi5)+ NPU(MMSCIM)三核異構的設計架構，通過將MMSCIM和先進的HiFi5 DSP融合設計形成了炬芯科技“Actions Intelligence NPU(AI-NPU)”架構。得益于此，炬芯科技實現了既高彈性又高能效比的NPU設計。
同時，為了支持開發者更好地利用炬芯科技的AI-NPU架構，炬芯科技還打造了專用AI開發工具“ANDT”。該工具支持業內標準的AI開發流程，如Tensorflow、HDF5、Pytorch和Onnx，并可自動將給定AI算法合理拆分給CIM和HiFi5 DSP去執行。借助炬芯ANDT工具鏈，開發者可以輕松地實現算法的融合，并迅速完成產品落地。
在實測中，炬芯科技GEN1 MMSCIM與HiFi5 DSP在運行同樣參數的Convolutional Neural Network(CNN)網絡模型進行環境降噪時，MMSCIM相較于HiFi5 DSP可降低近98%功耗，能效比提升達44倍。在測試使用更復雜的網絡模型進行環境降噪時，MMSCIM也表現出了顯著的功耗降低和能效比提升。
周正宇博士強調指出，未來，炬芯科技將繼續加大端側設備的邊緣算力研發投入，通過技術創新和產品迭代，實現算力和能效比進一步躍遷，提供高能效比、高集成度、高性能和高安全性的端側AIoT芯片產品，推動AI技術在端側設備上的融合應用，助力端側AI生態健康、快速發展。
您可能感興趣
