十大邊緣AI芯片

如今，人工智能正在滲透幾乎所有邊緣和嵌入式市場，制造出性能更強大、功能更豐富的設備，從工業機器的預測性維護到家用電器的語音激活，再到支持更復雜的計算機視覺應用和自主機器。

生成式人工智能(GenAI)也正在邊緣設備中興起，使這些設備能夠理解和創建自然語言，從而提供更自然的用戶體驗。然而，對于小型設備來說，這需要大量的計算資源，因此需要專門的人工智能芯片來加速工作負載，同時又不會犧牲功耗。

以下是我們精選的十大邊緣人工智能芯片，目前均已上市。它們涵蓋了從能在邊緣設備中處理GenAI的芯片到專為視覺和超低功耗應用而設計的產品。

用戶界面

大型語言模型(LLM)和GenAI可以為擁有足夠計算、內存和處理能力的系統添加自然直觀的界面，使其能夠在給定的延遲內運行。

Hailo Technologies公司的第二代AI加速器Hailo-10專門設計用于邊緣計算中的GenAI和LLM。它基于與該公司早期專注于視覺的Hailo-8相同的架構，后者依靠Hailo的軟件分析神經網絡各層的計算和內存需求，分配充足的資源，并將它們盡可能地映射到更近的位置，以最大程度地縮短數據傳輸距離。Hailo-10增加了專用內存接口，允許使用外部內存，這對于快速的LLM推理至關重要。

Hailo-10支持4位、8位和16位整數精度，在INT4模式下可達到40TOPS的算力。這與Hailo-8類似，但新增的內存訪問功能使其更適用于GenAI。Hailo還提升了一些常見Transformer算子的效率，并改進了對多模態的支持。

Hailo-10可以以低于5W的功耗運行Llama2-7B，每秒最多處理10個token；或者在相同的功耗下，以低于5秒的每張圖像處理時間運行StableDiffusion 2.1。雖然70億參數的LLM在今天看來規模相對較小，但對于僅需特定領域知識的設備的用戶界面來說，這已經足夠了。

Hailo公司的Hailo-10人工智能加速器(來源：Hailo Technologies公司)

AI助手

Kinara公司推出了其第二代AI加速器Ara-2，適用于邊緣服務器、筆記本電腦和游戲機市場。Ara-2可在6W的功耗范圍內加速多達300億個INT4參數的模型。

Kinara已演示Ara-2在運行Llama2-7B時每秒能生成數十個token，并在10秒內完成StableDiffusion 1.4的20次迭代。Ara-2針對GenAI工作負載進行了優化，包括為邊緣服務器和邊緣設備應用生成圖像和文本。

該芯片比Kinara專注于視覺的第一代產品更大，但計算效率也更高，性能提升了5到8倍。新內核加入了專為AI工作負載優化的超長指令字(VLIW)，有助于避免加載/存儲瓶頸(VLIW常用于AI加速器，因為它支持指令級并行，這對于AI工作負載非常有利)。還新增了對常見Transformer激活函數(例如softmax和ReLU)的支持，以及INT4和MSFP16能力。一個專有的編譯器負責處理數據流。

邊緣設備可以使用本地數據為AI添加有價值的上下文，從而使AI智能體和助手可以獲取特定于上下文的信息，從而幫助生成更準確的結果。例如，這可能體現為用戶在筆記本電腦上的本地數據。在游戲機領域，Kinara正在推動在本地運行小型LLM，以支持更加真實、可交互的非玩家角色。

Kinara公司的Ara-2 AI加速器(來源：Kinara公司)

量化技術

韓國AI芯片初創公司DeepX的核心技術在于其量化方法，該方法能將訓練好的模型轉化為高效的低精度版本，以加快推理速度。通常，量化需要犧牲精度，但DeepX的量化方法實際上使量化后的視覺網絡比原始的全精度版本更精確。這是因為它幫助模型減少了過擬合，過擬合是一個常見問題，即模型由于記住了數據而無法泛化。

DeepX提供兩種芯片。DX-V1是一款片上系統(SoC)，配備5TOPS神經處理單元(NPU)、四個RISC-V CPU和一個12MP圖像信號處理器(ISP)。這是一款適用于邊緣設備的小型SoC，售價低于10美元，功耗僅為1至2W。DeepX的V1演示以30fps的速度運行YOLOv7，實現實時處理。DX-M1則是一款基于相同NPU架構的更強大的加速器，但設計用于與獨立主機CPU并行工作。它可在5W的功耗范圍內提供25TOPS的計算能力，適用于工業PC及類似應用，例如攝像系統、無人機和機器人。

DX-H1是一款四核M1卡，也適用于邊緣服務器和工業網關。當前一代產品支持Transformer編碼器，但不支持解碼器。下一代產品則將全面支持Transformer。

DeepX的DX-M1加速器(來源：DeepX)

多攝像頭數據流

Axelera AI的Metis芯片配備四核數字內存計算矩陣矢量乘法加速器，峰值性能達到214TOPS(混合精度/INT8權重)，功耗為14.7TOPS/W。Metis AI處理單元的典型功耗為10W。

Metis的高效性源于其密集交錯的內存和計算能力，以及每個AI內核中一個小型RISC-V CPU，該CPU負責管理內存映射I/O上的數據流，并支持各種激活函數的硬件加速。四核設計可配置為在不同內核上運行的不同模型，或用于級聯模型，大型模型可以分布在多個內核上。

Metis配備了帶有1GB DRAM的M.2卡或PCIe卡。這些單芯片卡仍然可以處理多流推理；Axelera的演示展示了在24個攝像頭數據流上運行YOLOv5物體檢測，總幀率達400fps。在單個芯片上運行多個數據流有助于避免軟件復雜性。

即將推出的是一款四芯片PCIe卡，其計算能力達856TOPS，可用于聚合更多攝像頭數據流；此外，還有一款單板計算機，搭載單個Metis芯片和主機CPU。

雖然Metis主要用于計算機視覺應用，但它也可以運行Transformer。

Axelera AI的Metis芯片(來源：Axelera AI)

完整的SoC

隨著消費電子和工業設備、機器人和車輛逐漸轉向大型多模態模型LMM(Large Multimodal Model)和GenAI，SiMa Technologies公司(SiMa.ai)已打造第二代芯片以滿足這一需求。Modalix SoC已針對包括BF16精度的視覺和多模態Transformer在內的Transformer架構進行了優化，同時它還可以運行卷積神經網絡(CNN)和其他AI工作負載。它具有針對分段多項式激活函數以及LLM和LMM中常用的其他非線性函數的硬件加速功能。

Modalix是一個完整的SoC系列，不僅包括加速器，還配備了八個Arm A級CPU內核，旨在運行完整的應用程序而不是單獨的加速器任務。這些CPU內核將用于運行應用程序、進行決策，并且在加速器不支持任何操作的情況下，它們還可以用于回退。Modalix將推出25、50、100和200TOPS(INT8)版本，其中50TOPS版本將率先上市。該版本可以以超過10個token/s的速度運行Llama2-7B，功耗為8至10W。SoC上還集成了片上ISP和數字信號處理器(DSP)。

SiMa.ai的工具鏈可以自動量化不同的層級，以實現最佳精度。

SiMa.ai的Modalix SoC(來源：SiMa Technologies公司)

實時視覺

Blaize公司的圖流處理器架構專為圖工作負載設計，包括AI和常見的圖像信號處理功能。該硬件將流處理與多線程技術相結合；激活數據會被緩存在小型片上緩沖區中，然后直接傳輸到下一個節點。減少處理器和外部存儲器之間的數據傳輸，可大幅降低能耗。

最終，該芯片能夠在五個攝像頭流上實時處理YOLOv3物體檢測(每個流每次推理耗時不到20ms，因此所有五個流均可同時以10fps的幀率運行)。這使得工業和智慧城市應用中的實時視覺處理成為可能，但Blaize架構也適用于汽車駕駛輔助系統、零售貨架攝像頭和其他視覺應用。

Blaize的芯片Blaize 1600 SoC擁有16個內核，總共具有16-TOPS INT8性能，功耗為7W。它有幾種小卡格式，可作為單芯片加速器(最高可達4GB LPDDR4)，或用于邊緣服務器應用和網關的四芯片PCIe卡。

AI加速器

對于基于CNN的小型視覺模型，MemryX公司的MX3 AI加速器可提供5TFLOPS(混合精度)性能，功耗僅為2W。與類似解決方案一樣，它基于數據流架構的內存計算；處理單元包含矩陣乘法加速器，以及另一個處理激活和其他運算的小單元。數據從一個引擎流向下一個引擎，無需離開芯片進入外部存儲器，存儲器是處理引擎之間的唯一連接(無片上網絡)。權重支持INT4、INT8和INT16，激活使用BF16以保持整體精度。

對于更大的模型，MemryX提供帶有四塊芯片的M.2模塊(混合精度性能為20TFLOPS)。模型可以分布在四個器件上，總功耗為8W。該公司的軟件堆?？梢砸绘I自動編譯模型。該公司測試了來自HuggingFace等在線存儲庫的大量模型，這些模型在未經進一步優化的情況下，芯片的利用率達到了50%至80%。MemryX MX3的應用包括PC上的實時視覺和AI。

始終在線的AI

對于需要超低功耗的應用，如電池供電設備中始終在線的關鍵字檢測，Syntiant公司的NDP250神經決策處理器則是理想選擇。NDP250是Syntiant架構的第三代版本，可在10至100mW的功率范圍內提供30GOPS的INT8性能。

Syntiant器件的典型用例是音頻或視覺喚醒詞，或傳感器處理，如果檢測到感興趣的內容，則會喚醒微控制器(MCU)或系統的其他部分。這使得系統的大部分部件保持關閉狀態，直到被喚醒以節省功耗。NDP250配備比之前的Syntiant器件更大的加速器，可以處理稍大的任務，例如自動語音識別和文本轉語音。這可以節省能耗并改善系統的延遲，例如喚醒運行LLM的更強大的處理器。盡管如此，NDP250支持注意力層，因此支持微型Transformer網絡(低于600萬個INT8參數)。

芯片內置Syntiant的加速器、用于音頻特征提取和信號處理的HiFi3 DSP以及Arm Cortex-M0內核，這使得該芯片在某些應用中無需主處理器即可運行。

該公司還通過收購Pilot.ai提供AI模型。此外，它最近還收購了樓氏電子的消費級MEMS麥克風業務。

應用處理器

在應用處理器領域，恩智浦半導體(NXP)的i.MX 95系列應用處理器采用其專有的Neutron NPU進行片上AI加速。這是一款功能強大的應用處理器，專為汽車、工業和物聯網市場而設計，配備多達六個Arm Cortex-A55 CPU，以及一個用于3D圖形處理的Arm Mali GPU、一個ISP以及NPU。典型應用包括工廠機器視覺和車輛語音警告、儀表和攝像頭系統。

Neutron NPU是先前MCX-N MCU中使用的IP的擴展版本，最高可擴展至2TOPS(INT8)。它可以運行CNN、RNN、TCN和Transformer。恩智浦表示，對MobileNet、MobileNet-SSD和YOLO等CNN的測試表明，i.MX 95的Neutron NPU比在片上Cortex-A55上運行推理的速度快100倍到300倍。i.MX 95由恩智浦的eIQ軟件開發環境提供支持，該環境包含用于數據集管理、模型選擇和部署的工具。此外，還有許多第三方工具(例如量化器)可用作eIQ流程的一部分。

NXP的i.MX 95應用處理器系列(來源：NXP)

AI MCU

意法半導體(ST)首款搭載專用AI加速器的MCU STM32N6，可提供600GOPS(INT8)的加速性能，遠超其他MCU制造商的產品(包括5GOPS的NXP MCX-N和約250GOPS的英飛凌PSoC邊緣產品)。這款MCU足以勝任諸如人體檢測等應用——其演示展示了一個定制版YOLO，其檢測速度高達314fps，并且內置片上成像流水線——但它在運行諸如異常檢測等小型模型時，也同樣出色。

意法半導體自主研發的NeuralART加速器，運行能效可達3TOPS/W。STM32N6還搭載Arm Cortex-M55 CPU，主頻達800MHz，是STM32器件迄今為止的最高主頻，并支持Arm Helium矢量擴展。此外，它還擁有迄今為止STM32中最大的RAM，高達4MB。ST已集成高速內存接口、ISP、MIPI接口和內置圖形支持。

這款MCU將面向邊緣AI應用，涵蓋汽車、工業和消費電子領域，這些領域正是STM32系列目前的主要市場。它由ST成熟的工具鏈提供支持。NanoEdge AI Studio是一款無需代碼的工具，可用于使用ST的模型進行時間序列數據處理；STM32Cube.AI則用于優化模型和性能。

ST的STM32N6 MCU(來源：意法半導體)

（原文刊登于EE Times姊妹網站Electronic Products，參考鏈接：Top 10 edge AI chips，由Franklin Zhao編譯。）

本文為《電子工程專輯》2025年6月刊雜志文章，版權所有，禁止轉載。免費雜志訂閱申請點擊這里。