小智AI是一款集成大語言模型(LLM)的端側(cè)智能交互框架,能夠?qū)崿F(xiàn)從語音喚醒、云端對話到通過MCP協(xié)議(Model Context Protocol)實時控制外設(shè)的完整閉環(huán)。為物聯(lián)網(wǎng)設(shè)備提供了低門檻、高響應(yīng)的自然語音交互能力,開發(fā)者無需精通復(fù)雜的人工智能算法,即可快速在嵌入式硬件上構(gòu)建具備對話和控制功能的智能產(chǎn)品。
本文將手把手帶你學(xué)習(xí)如何在Edgi-Talk平臺上部署小智AI,并通過語音指令控制開發(fā)板上的LED、屏幕亮度等外設(shè)。這套流程不僅適用于Infineon PSOC-E84,其核心原理——包括端側(cè)語音交互設(shè)計、MCP協(xié)議對接以及硬件驅(qū)動適配——同樣可遷移至其他ARM嵌入式平臺。報名參加3月21日 北京、成都;3月28日 深圳、上海 的免費線下培訓(xùn),可以在官方技術(shù)的指導(dǎo)下跑通本文實驗,以及LVGL開發(fā)GUI、LLM 網(wǎng)頁端交互部署,更多精彩內(nèi)容!
點擊鏈接,報名培訓(xùn),查看詳情↓
1. 進入小智AI項目工程:Edgi_Talk_M55_XiaoZhi

固件編譯:
打開env,輸入scons進行工程的編譯,編譯生成固件在當(dāng)前目錄下:rtthread.hex
固件燒錄:和環(huán)境搭建環(huán)節(jié)中的燒錄方式一樣,使用openocd工具進行命令行燒錄即可:
./openocd.exe -s ../scripts -s ../flm/cypress/cat1d -f interface/kitprog3.cfg -f target/infineon/pse84xgxs2.cfg -c "set QSPI_FLASHLOADER ../flm/cypress/cat1d/PSE84_SMIF.FLM" -c "transport select swd" -c "set ENABLE_ACQUIRE 0" -c "init; reset init; flash write_image erase ./rtthread.hex; reset run; exit"如何配置小智APP聯(lián)網(wǎng):
注意:如果手上有SD卡,可以把卡插入到開發(fā)板的SD卡槽,下一次開機會自動聯(lián)網(wǎng)了
開發(fā)板第一次默認(rèn)會進入AP模式,需要找到對應(yīng)的AP進行連接,密碼在屏幕上有顯示:

確保連接成功后,在設(shè)備的瀏覽器中輸入:192.168.169.1,進入后臺界面,進行配網(wǎng):

先點擊 scan 掃描周圍 wifi 熱點:

連接成功后,會顯示如下界面:

當(dāng)屏幕上顯示“待命中”的時候,代表可以正常進行對話了

按一下開發(fā)板的第一個用戶按鍵進行對話,然后等待1-2S小智會自動回復(fù)。
聯(lián)網(wǎng)中,請等待完成

監(jiān)聽對話中,此時需要按下用戶按鍵/說出喚醒詞“小睿,小睿”,然后進行對話

小智進入聆聽狀態(tài),此時會處理對話內(nèi)容,等一句話說完停頓后會進行處理
對話中,此時小智會回復(fù)你的對話請求

休眠狀態(tài),此時小智進入低功耗,需要手動按一下按鍵,然后等待小智進入待命中狀態(tài),然后就可以繼續(xù)對話了

MCP 是將 Model Context Protocol 極致精簡后,適配資源受限的嵌入式設(shè)備的輕量實現(xiàn)。
核心目標(biāo):讓邊緣側(cè)的微控制器或小型SoC直接作為 MCP Server,暴露硬件能力(GPIO控制、傳感器讀取、電機驅(qū)動、LED、IoT上報等),供LLM通過標(biāo)準(zhǔn)化協(xié)議遠程調(diào)用,實現(xiàn)“自然語言控制物理世界”。
目前支持的外設(shè)控制: LED小燈、屏幕亮度、聲音大小
使用方法:
按一下開發(fā)板的第一個 用戶按鍵 進行對話
小智進入聆聽狀態(tài)
對小智說“打開燈”、“關(guān)閉燈”、“調(diào)亮屏幕”、“調(diào)大聲音”等命令即可實現(xiàn)MCP控制開發(fā)板外設(shè)
MCP初始化發(fā)送IOT描述符

注冊Iot設(shè)備

LED燈控制工具

控制方法對應(yīng)的驅(qū)動

文末,點擊"閱讀原文”報名免費培訓(xùn),體驗更多精彩內(nèi)容!
培訓(xùn)現(xiàn)場我們會免費提供硬件板卡用于實踐,也歡迎下單直采!
Edgi-Talk 開發(fā)板基于 Infineon PSoC? E84 MCU,為工程師提供了一個靈活、全面的嵌入式開發(fā)平臺。 開發(fā)板集成了顯示、音頻、無線通信與多種外設(shè)資源,適用于多傳感器融合、GUI 顯示、多媒體及聯(lián)網(wǎng)應(yīng)用的快速原型驗證與產(chǎn)品開發(fā)。搭載高性能的Arm? Cortex-M55處理器,最高400MHz,以及Arm? Cortex-M33,最高200MHz,搭配Ethos-U55和NNLite NPU運算單元,助力設(shè)計者為下一代設(shè)備打造無與倫比且高度人性化的終端用戶體驗。

或復(fù)制鏈接購買:https://item.taobao.com/item.htm?ft=t&id=1015914924486




想要在RT-Thread平臺或社區(qū)投放內(nèi)容?
或想?yún)⑴c相關(guān)直播活動及賽事?
RT-Thread已開放對接窗口,
請通過郵件與我們?nèi)〉寐?lián)系,期待合作!
合作郵箱: tongfangyi@rt-thread.com
