來源：意法半導體博客
在今年的德國紐倫堡SENSOR + TEST 2022大會上，與會者有幸見到了ISM330IS——第一個內置智能傳感器處理單元（ISPU）的傳感器。意法半導體（ST）于 2022 年初發布這一技術。簡單地說，ISPU是一種支持C語言的可編程嵌入式數字信號處理器（DSP），能夠運行機器學習和深度學習算法。因此，它是邊緣人工智能的下一個發展方向，或者意法半導體所說的“Onlife Era”時代。ISM330IS有一個單精度計算浮點單元，開運動傳感器先河。
從一個想法到新一代傳感器，意法半導體克服了哪些挑戰？
在這項研究啟動期，意法半導體發表了一篇研究在慣性傳感器內集成機器學習核心的可行性論文。過去，傳感器的作用就是收集數據，所有計算任務都必須在微控制器上完成，這種架構背后的原因比較簡單，慣性傳感器是小尺寸的低功耗設備。增加性能強大的處理器不僅會違反這些設計限制，還會帶來巨大的系統集成和制造挑戰。雖然在一個模塊內整合了DSP、加速度計與陀螺儀，但是意法半導體并未降低處理性能、內存容量和傳感器的精準度。
首款配備機器學習核心的傳感器有哪些非凡之處？
意法半導體在2018年發表的這篇論文具有開創性，因為它為首個包含八個并行決策樹、運行機器學習算法的慣性傳感器LSM6DSOX解決了市場推廣的難題。本地運行應用同時功耗非常低，從不可能變成了可能。產品推出后，尤其是在將模塊集成到SensorTile.box 之后，新應用開始涌現。例如，用它開發的嬰兒哭聲檢測器，當有嬰兒被遺忘在車內時可以提示駕駛員。同樣，倫敦大學學院兩個項目基于此開發出了自動化站/坐監測和更便捷的數字聽診器，獲得市場好評。
還有哪些傳感器配備機器學習核心？
LSM6DSOX還標志著一個新開發者社區出現。意法半導體在 GitHub網站提供了機器學習核心庫，并提高Unico GUI 軟件工具的可及性，幫助更多的希望利用LSM6DSOX的機器學習核心的程序員。此外，我們還發布了性能更強大的傳感器。LSM6DSRX有更好的性能，適用于虛擬現實耳機等要求更高的應用。意法半導體還推出了LSM6DSV16X，它具有增強的機器學習內核和更好的性能功率比，適用于功耗限制更嚴格的系統。因而，有機器學習核心的意法半導體傳感器在一定程度上加快了下一個自動化時代的到來，而ISM330IS 在這一傳奇中翻開了一個重要的新篇章。
從新處理核心到新應用，ISPU是用什么做的？
ISM330IS 的 ISPU提供 8 KB的數據RAM和32 KB的應用RAM，運行頻率10 MHz，具有32 位 RISC哈佛架構、四級流水線、浮點單元和針對神經網絡處理優化的16位長度指令集。此外，雖然處理器發出中斷請求僅需四個時鐘周期（Arm Cortex 內核通常需要15 個時鐘周期），但也可以在一個時鐘周期內處理 16 位乘法運算。它使用 SPI 或 I2C 與主控 MCU 通信，開發人員只需在主處理器啟動時將 C 代碼加載到 ISPU 的易失性存儲器內即可。
FPU 讓應用程序能夠在邊緣設備上更靈活地運行推理算法。一旦滿足條件，程序就會向微控制器發出中斷請求。同樣，與上一代核心相比，該架構使 ISPU 提高性能的同時，功耗仍維持在微瓦級別。因此，與之前機器學習核心的決策樹相比，新產品是一個重大的飛躍，是一個更高效的系統。此外，盡管具有強大的算力，但 ISM330IS 仍然適合市場標準的 3 mm x 2.5 mm x 0.83 mm LGA 封裝。因此，采用新傳感器，設計人員無需大幅修改 PCB布局。
ISM330IS是如何做到脫穎而出的？
機器學習應用越來越普及，很多人一想到機器學習，就會想到高存儲容量、云計算服務器或高度并行的GPU 架構，有許多程序對運算性能要求確實很高，這使得它們與邊緣處理不相容。然而，有些企業也知道，并非所有深度學習系統都需要這個級別的算力。因此，在手機等移動產品或工業設備本機上運行推理算法的應用越來越受歡迎。圖像識別、異常檢測和預測性維護都要求在低功率條件下有可靠的 AI 性能。同樣，家庭無線安保系統攝像頭可以用人工智能識別人臉或寵物，ISPU核心可以為移動系統常亮顯示屏提供智能。
針對性能與功耗這一挑戰，ISM330IS 是一個新的解決方案，因為它的高性能模式功耗僅為0.59 mA，在同等條件下，ISM330DHCX高達1.5 mA。ISM330DHCX功耗較高的部分原因是模塊集成了性能更強大的陀螺儀等功能。然而，這些數字也顯示了新產品的優化之處和處理器核心的能效。事實上，低功耗微控制器很少有 FPU，因為它們通常需要大量的電能，然而，ISM330IS卻將功耗成功地控制在電池供電系統適用的水平。
