AI PC總算有點(diǎn)用了：來(lái)看本地AI聊天的一次進(jìn)化

推廣AI PC這個(gè)概念的廠商，普遍在找尋AI真正落地的應(yīng)用場(chǎng)景。我們之前就常說(shuō)，AI時(shí)代，上游的芯片企業(yè)普遍在親力親為地為開(kāi)發(fā)者們“發(fā)現(xiàn)”各種可能性，一邊提供中間層和各類(lèi)工具，一邊還不忘做些應(yīng)用——有些是為了展示，有些則可直接使用。

上個(gè)月英偉達(dá)親自下場(chǎng)做了個(gè)Chat with RTX，專為PC用戶準(zhǔn)備的本地LLM對(duì)話機(jī)器人。而且因?yàn)槭敲嫦蚱胀ㄓ脩簦宰非蟮氖且绘I安裝，不需要進(jìn)行繁雜的環(huán)境部署之類(lèi)的操作。其實(shí)這東西算不上稀罕，從生成式AI概念大火開(kāi)始，不少OEM廠商就陸續(xù)在設(shè)備上集成各種基于不同LLM模型的本地服務(wù)，手機(jī)和PC廠商都在搞。

不過(guò)最近的英偉達(dá)RTX for AI技術(shù)品鑒會(huì)上，我們還是看到了一些與眾不同的東西：不只是Chat with RTX，還包括ACE（Avatar Cloud Engine）會(huì)講中文了，Stable Diffusion XL有了更快的加速......

對(duì)英偉達(dá)而言，眼下要做的，都是在數(shù)據(jù)中心AI市場(chǎng)獨(dú)霸一方以后，在端側(cè)PC上也盡早構(gòu)建起AI PC的技術(shù)與生態(tài)護(hù)城河。現(xiàn)在幾家芯片廠在比的，說(shuō)到底是誰(shuí)的AI PC對(duì)用戶而言更有用。

3月28-29日，由Aspencore主辦的國(guó)際集成電路展覽會(huì)暨研討會(huì)（IIC Shanghai）將在上海召開(kāi)。AI作為熱點(diǎn)也是IIC的焦點(diǎn)議題之一，與IIC 2024同期舉辦的GPU/AI芯片與高性能計(jì)算應(yīng)用論壇也將同步進(jìn)行，屆時(shí)頂尖的AI領(lǐng)域行業(yè)專家將分享他們對(duì)于AI技術(shù)的看法和展望，點(diǎn)擊這里參考詳情并報(bào)名參會(huì)。

本地AI對(duì)話，總算有用了

之前我們也見(jiàn)過(guò)不少本地LLM服務(wù)或app：芯片企業(yè)主打的無(wú)非是自家芯片很厲害，以及在中間件上做了多大程度的努力，才讓大語(yǔ)言模型可在PC本地直接跑起來(lái)。但無(wú)論是ChatGLM，還是Llama，或者能寫(xiě)代碼的StarCoder，在本地做AI推理的實(shí)用程度都堪稱雞肋；或者說(shuō)本地LLM的智商，比起云上的ChatGPT/Copilot，那差的絕對(duì)不是一星半點(diǎn)。

起初我們對(duì)于Chat with RTX的看法也是這樣，無(wú)非是英偉達(dá)簡(jiǎn)化了LLM與RTX加速本地部署的流程，英偉達(dá)期望給出基于GeForce顯卡加速的LLM對(duì)話機(jī)器人展示罷了。但在品鑒會(huì)活動(dòng)上發(fā)現(xiàn)，這東西的真正價(jià)值可能在另一個(gè)叫RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）的技術(shù)點(diǎn)上，第一次讓我們自己也有動(dòng)力去用Chat with RTX了。

Chat with RTX的用戶界面上，除了AI模型選擇和對(duì)話的文本輸入框以外，還有個(gè)“數(shù)據(jù)集路徑”——可由用戶選擇本地文件夾（也可以輸入油管視頻的URL路徑），Chat with RTX就會(huì)掃描文件夾中的內(nèi)容，并在與用戶的問(wèn)答過(guò)程里，結(jié)合其中的資料內(nèi)容。目前文件支持類(lèi)型涵蓋.txt，.pdf，.doc/.docx，.xml。

活動(dòng)現(xiàn)場(chǎng)，基于本的Llama 2模型，我們發(fā)出問(wèn)題“介紹一下Chat with RTX”。由于現(xiàn)有Llama 2 13b模型根本就沒(méi)有相關(guān)數(shù)據(jù)，我們自然無(wú)法得到有價(jià)值的信息回復(fù)。一般對(duì)于更新的信息，或者定制的數(shù)據(jù)集，我們需要對(duì)模型做基于數(shù)據(jù)集的重新訓(xùn)練和部署——這對(duì)一般個(gè)人用戶而言不大現(xiàn)實(shí)。

所以英偉達(dá)的工程師現(xiàn)場(chǎng)找到Chat with RTX的官方介紹頁(yè)面，將整個(gè)頁(yè)面另存為PDF文檔（其中包含圖文混排），然后將其放到“數(shù)據(jù)集路徑”指向的文件夾內(nèi)。再問(wèn)Chat with RTX相同的問(wèn)題，它就能很準(zhǔn)確地給出回答，并且在最后給出回答參考的PDF文檔來(lái)源（下圖）。

既然能自己找到相關(guān)資料，為什么要把它放進(jìn)Chat with RTX的參考資料庫(kù)，然后再問(wèn)它呢？這不是多此一舉嗎？

一方面是如果資料來(lái)源的內(nèi)容非常多，比如是一篇paper，或者像視頻那樣有長(zhǎng)達(dá)萬(wàn)字的腳本，以這種方式從中找到所需內(nèi)容就會(huì)很方便；另一方面，當(dāng)個(gè)人資料文檔數(shù)量龐大，比如說(shuō)工作了幾年積累的文字與數(shù)據(jù)資料，要追溯歷史信息，靠我們手動(dòng)去找會(huì)非常辛苦——Chat with RTX此時(shí)對(duì)于生產(chǎn)力而言就會(huì)非常高效。

比如說(shuō)對(duì)應(yīng)文件夾里放進(jìn)過(guò)往打車(chē)的所有行程記錄（如滴滴打車(chē)自動(dòng)生成的），那么隨時(shí)都能向Chat with RTX提問(wèn)過(guò)去某個(gè)時(shí)間段自己去過(guò)哪兒；或者將旅游攻略都放進(jìn)去，就能讓Chat with RTX協(xié)助安排去往某地的行程...英偉達(dá)說(shuō)，不同使用習(xí)慣的個(gè)人能用它來(lái)實(shí)踐不同的價(jià)值。多提一句，Chat with RTX對(duì)于油管視頻來(lái)源的支持，是基于頁(yè)面上的文本腳本（即字幕）。

去年末，英偉達(dá)官方博客也介紹了這種RAG檢索強(qiáng)化生成技術(shù)。RAG這個(gè)詞最早是2020年的一篇paper中被提及的，現(xiàn)在似乎已經(jīng)有大量paper和商業(yè)服務(wù)開(kāi)始應(yīng)用——AWS, 谷歌, 微軟等企業(yè)都在用。這是一種借助外部信息來(lái)源，增強(qiáng)生成式AI模型精度和可靠性的技術(shù)方法。我們知道LLM作為一種神經(jīng)網(wǎng)絡(luò)，其智商水平主要取決于包含的參數(shù)量。RAG是把生成式AI服務(wù)與外部來(lái)源做了結(jié)合，以很方便的方法提高其智商。

RAG技術(shù)的發(fā)明者將其稱作“一種通用的fine-tuning方法”，因?yàn)樗m用于幾乎所有的LLM模型。前兩年Nvidia NeMo LLM Service發(fā)布時(shí)，英偉達(dá)似乎就已經(jīng)準(zhǔn)備在企業(yè)版Nvidia AI上應(yīng)用這種技術(shù)。

其價(jià)值是顯而易見(jiàn)的，首先明確與LLM特定話題的對(duì)話，而且有據(jù)可循；其次是基于個(gè)人或企業(yè)私有數(shù)據(jù)，是本地屬性的；與此同時(shí)，實(shí)現(xiàn)過(guò)程很方便，相比于重新訓(xùn)練模型，速度更快、成本更低。

當(dāng)然具體的能力——比如給出一堆數(shù)據(jù)，讓Chat with RTX總結(jié)趨勢(shì)——還是取決于模型本身。起碼現(xiàn)在用于端側(cè)的LLM模型數(shù)據(jù)抽象能力還不怎么行。但潛在價(jià)值還是在于“私人助理”的實(shí)現(xiàn)，比如對(duì)輔助醫(yī)生做醫(yī)療相關(guān)的索引，或者幫助金融分析師鏈接市場(chǎng)數(shù)據(jù)，都是相當(dāng)不錯(cuò)的選擇。

Chat with RTX現(xiàn)在官方支持的模型有Mistral-7b與Llama 2-13b。英偉達(dá)在本次演示中外掛了國(guó)內(nèi)的ChatGLM 3-6b。英偉達(dá)工程師說(shuō)：“后續(xù)中文模型我們會(huì)做官方支持。”

文生圖“所見(jiàn)即所得”秒出圖

值得一提的是，除了前面著重提到的RAG之外，Chat with RTX也用上了TensorRT-LLM加速；現(xiàn)場(chǎng)看來(lái)，其響應(yīng)速度還是相當(dāng)快——雖然現(xiàn)在我們還沒(méi)有可量化的數(shù)據(jù)，畢竟演示用的是GeForce RTX 4090D。英偉達(dá)是在去年10月發(fā)布的TensorRT-LLM for Windows，實(shí)現(xiàn)了GeForce顯卡單卡在Windows平臺(tái)上，對(duì)LLM推理的加速。

要了解什么是TensorRT-LLM可以參見(jiàn)這篇文章。除了針對(duì)LLM以外，同期英偉達(dá)也特別為Stable Diffusion WebUI做了TensorRT加速擴(kuò)展。后來(lái)很快又更新了對(duì)Stable Diffusion XL與SDXL Turbo的TensorRT加速。這些應(yīng)該說(shuō)是充分表達(dá)了英偉達(dá)要發(fā)展AI PC的決心的。

這次活動(dòng)現(xiàn)場(chǎng)，英偉達(dá)也演示了在沒(méi)有TensorRT加速、采用Xformers庫(kù)做加速、選擇TensorRT插件加速這三個(gè)場(chǎng)景，在用Stable Diffusion XL WebUI出圖速度上的區(qū)別：英偉達(dá)期望表達(dá)的應(yīng)該是TensorRT加速效率更高。

從現(xiàn)場(chǎng)的演示來(lái)看，Xformers和TensorRT插件加速的結(jié)果差不多，不過(guò)這仍不是個(gè)完整可量化的綜合測(cè)試：理論上前者是特別針對(duì)圖像生成所作的加速庫(kù)，而后者是英偉達(dá)官方出品、推理應(yīng)用范圍更廣的加速庫(kù)，即便插件是特別針對(duì)Stable Diffusion WebUI的；而且現(xiàn)場(chǎng)演示的文生圖負(fù)載還是太輕度了，還應(yīng)用了超分模型，不足以充分表征二者差別。

當(dāng)然無(wú)論怎么比，也都是動(dòng)用了RTX加速的方法明顯更快。而且Stable Diffusion XL和Turbo版，在出圖質(zhì)量上也明顯優(yōu)于此前的Stable Diffusion 1.5。

另外，這次英偉達(dá)還特別演示了Stable Diffusion ComfyUI。這是個(gè)相比更多人所知的WebUI版，更加符合直覺(jué)、且可控的Stable Diffusion GUI。特點(diǎn)主要在于，它把Stable Diffusion的流程拆分成了不同節(jié)點(diǎn)，以Stable Diffusion的實(shí)現(xiàn)管線、流程圖的方式，給出更加可控、更有彈性的使用體驗(yàn)。

比如說(shuō)基于默認(rèn)的流程圖，文生圖推理的全過(guò)程切分成了checkpoint loader, 正向與負(fù)向的文字提示詞, 圖像尺寸, KSampler與VAE Decode, 圖像保存節(jié)點(diǎn)等。不過(guò)ComfyUI的一大特點(diǎn)是流程的可定制，用戶可以按照需求來(lái)增刪不同操作的節(jié)點(diǎn)，比如說(shuō)可以增加個(gè)額外的圖像后處理步驟；另外也可以調(diào)整流程中的各種參數(shù)，比如采樣方法、decoder結(jié)構(gòu)等...

但也因此，Stable Diffusion ComfyUI的用戶定位更偏向開(kāi)發(fā)者、研究人員和對(duì)Stable Diffusion相對(duì)熟悉的創(chuàng)作者。

雖然沒(méi)有借助于TensorRT加速，不過(guò)從英偉達(dá)的演示來(lái)看，ComfyUI的推理效率似乎是遠(yuǎn)高于WebUI的，尤其是再度修改提示詞以后，基本是秒出圖——比如把圖中鴨子的帽子從黃色改為紅色，在流程圖中做修改之后，輸出圖片能做到馬上響應(yīng)，“所見(jiàn)即所得”。除了采樣和解碼比較高效、可定制推理流程以外，不需要重新擴(kuò)散（re-diffusion）是秒速出圖的關(guān)鍵。

秒出圖的價(jià)值在于實(shí)現(xiàn)高效的參考設(shè)計(jì)，基于設(shè)計(jì)靈感來(lái)任意更動(dòng)設(shè)計(jì)方案。有興趣的同學(xué)可以自己上手體驗(yàn)一下——雖然現(xiàn)場(chǎng)沒(méi)有對(duì)比，不過(guò)大約CUDA加速在這其中也是起到了相當(dāng)作用的。ComfyUI對(duì)于CUDA加速的支持應(yīng)該是通過(guò)PyTorch框架完成的。

游戲NPC AI對(duì)話，現(xiàn)在也能講中文了

這次另一個(gè)演示的重點(diǎn)，就是Nvidia ACE（Avatar Cloud Engine）。ACE的發(fā)布最早可以追溯到2022年，去年ACE游戲開(kāi)發(fā)版發(fā)布，今年CES上我們也上手體驗(yàn)了這項(xiàng)技術(shù)：直接與游戲NPC人物對(duì)話，聊什么都可以——還能基于場(chǎng)景中的對(duì)象與NPC交流，比如讓NPC關(guān)燈，或讓他準(zhǔn)備一碗拉面，以及詢問(wèn)這碗拉面是怎么做的等等。

雖然英偉達(dá)一直在強(qiáng)調(diào)，ACE是個(gè)云側(cè)與端側(cè)混合的AI實(shí)現(xiàn)——有關(guān)ACE的具體實(shí)現(xiàn)流程本文就不再重復(fù)了，此前我們做過(guò)多次介紹；不過(guò)ACE的技術(shù)核心，仍然是LLM——只不過(guò)LLM推理是放在云上進(jìn)行的。

感覺(jué)英偉達(dá)之所以設(shè)定用于NPC響應(yīng)的LLM是放在云上，主要是因?yàn)椴煌挠螒蛉宋镉衅淙烁瘛⒔巧?dòng)作、記憶之類(lèi)的設(shè)定，面向游戲開(kāi)發(fā)者時(shí)更容易把這一開(kāi)發(fā)生態(tài)掌握在自己手上。

從CES到現(xiàn)在，這則demo的兩名NPC都已經(jīng)會(huì)說(shuō)中文了，雖然口音還非常奇怪，但起碼是能說(shuō)了——據(jù)英偉達(dá)所說(shuō)，后續(xù)的更新里，ACE講中文的能力也會(huì)大幅提升；NPC很快也會(huì)基于對(duì)話內(nèi)容增加對(duì)應(yīng)表情。

目前的ACE流程中，云上LLM+RAG響應(yīng)主要是一家名為Convai的公司做的（并且Convai面向游戲開(kāi)發(fā)者提供角色API），不知道英偉達(dá)后續(xù)是否會(huì)考慮在國(guó)內(nèi)找這類(lèi)服務(wù)的合作伙伴；或者讓Convai在國(guó)內(nèi)部署本地服務(wù)。畢竟此前英偉達(dá)就說(shuō)過(guò)對(duì)應(yīng)服務(wù)已經(jīng)在和米哈游、網(wǎng)易、騰訊、掌趣之類(lèi)的游戲公司合作。

其實(shí)無(wú)論是Chat with RTX, ComfyUI Stable Diffusion, 還是ACE游戲版，以及這次又演示了一遍的DLSS 3.5，英偉達(dá)現(xiàn)階段似乎正拼命在為開(kāi)發(fā)者和用戶尋找AI PC的落地應(yīng)用場(chǎng)景，不僅在為開(kāi)發(fā)者提供AI工具，而且還嘗試親自下場(chǎng)做面向終端用戶的app，推進(jìn)基于GeForce顯卡的AI PC是勢(shì)在必行了。

實(shí)際上DLSS某種程度已經(jīng)算得上游戲領(lǐng)域的AI殺手級(jí)應(yīng)用，ACE則有這樣的潛力；Chat with RTX是我們首次看到本地LLM推理能夠切實(shí)推進(jìn)生產(chǎn)力的落地。AI PC大概會(huì)在這樣添磚加瓦的過(guò)程中一步步走向成熟。

3月28-29日，由Aspencore主辦的國(guó)際集成電路展覽會(huì)暨研討會(huì)（IIC Shanghai）將在上海召開(kāi)。AI作為熱點(diǎn)也是IIC的焦點(diǎn)議題之一，與IIC 2024同期舉辦的GPU/AI芯片與高性能計(jì)算應(yīng)用論壇也將同步進(jìn)行，屆時(shí)頂尖的AI領(lǐng)域行業(yè)專家將分享他們對(duì)于AI技術(shù)的看法和展望，點(diǎn)擊這里參考詳情并報(bào)名參會(huì)。