我們用筆記本CPU跑了生成式AI，讓它寫代碼、作圖...

這幾個月，用筆記本PC跑生成式AI的話題挺熱的——芯片廠商普遍都開始往電腦處理器里加專門的NPU單元了，OEM廠商也正為來年AI PC的宣傳蓄勢待發。

其實這幾個月里，Intel不同業務部門的媒體活動，都或多或少把注意力放在AI上。尤其CCG業務，從年初就開始科普沒有獨顯的筆記本PC也能跑生成式AI。我們圍繞這個話題也做過不少報道了。應該說，近幾個月Intel在AI生態構建方面下的工夫還是相當大的。

過去我們只是見過Intel官方在這方面的演示，從未親身上手。所以這次，我們自己用一臺采用13代酷睿處理器、沒有獨顯的輕薄本（聯想Yoga Pro 14s）來真的跑一跑AI和生成式AI，看看效果和體驗怎么樣，探究AI在PC上的潛力。

PC跑生成式AI的理論基礎

迄今仍有不少同學對于端側PC，尤其輕薄筆記本跑生成式AI這樣的大東西是不理解或沒有概念的。所謂的“跑AI”，大方向上包含了AI training（訓練）和inference（推理）兩件事。正兒八經、商用的大模型training一般是要放到服務器集群上去跑的——可以理解為打造一個模型的過程。

這個模型打造好了，就要拿來用了。比如用戶要和ChatGPT對話，就是用ChatGPT模型的過程，即為inference。Inference也可能需要相當大的算力，所以我們常能聽到GPU或AI芯片廠商面向服務器的“推理卡”——和ChatGPT對話的過程，就是在服務器集群上做inference。

但有不少小模型的inference其實并不需要多高的算力，很多端側IoT嵌入式設備也強調AI inference特性——這也叫“跑AI”——此前Arm不是還在宣傳Cortex-A55 Neon指令集增強的AI推理加速嗎。我們說用PC來跑生成式AI，一般是指用PC對生成式模型做AI inference。當然了，“生成式AI”肯定不是低功耗IoT設備小模型的那種量級，所以一定的算力仍然是必須的。

不過像Intel這種廠商宣傳PC能跑生成式AI，在我們看來，更多的倒不是去宣揚自家處理器性能有多彪悍，而是Intel為了實現在PC上跑生成式AI，在生態上所做的努力。

雖然近兩年電腦CPU性能的確變得越來越彪悍，但作為一種通用處理器，CPU的并行算力還是無法與更專用的處理器相較的。

要在PC CPU上跑生成式AI模型（比如LLM大語言模型、Stable Diffusion），需要經過模型轉換、優化、量化等過程。比如前不久Intel宣傳的BigDL-LLM庫，就用于簡化在端側PC上的LLM大語言模型推理，尤其做量化，用Int4、Int3這樣的低精度數據做inference，降低本地硬件資源需求。

那么Intel就需要花不少精力去做這些事，包括各種中間件、庫、工具的搭建。這些事實上也成為Intel搭建自家AI生態的重要組成部分。顯然讓群眾基礎甚廣的PC都跑上AI，自然是其AI生態可擴張的重要一步。

先聊聊筆記本上的酷睿i9-13900H

我們這次跑AI的主角就是聯想Yoga Pro 14s（2023款）：酷睿i9-13900H的CPU，搭配32GB LPDDR5-6400 RAM，和頂格速度的民用SSD固態。

這臺筆記本就體態來看，無論如何都應該算是輕薄本（包括RAM不可更換，IO接口也不多）。其整機厚度與散熱設計，就跟去年我們測過的全能本很不一樣（下圖）。散熱孔在整臺設備D面，也沒有激進的進出風鰭片與格柵。C殼的圓潤楔形收邊，也讓這款筆記本在視覺上看起來更薄。

但其實從性能釋放的角度，Yoga Pro 14s又不大像輕薄本。為了喂飽酷睿i9-13900H這顆標壓處理器，官配的電源有100W功率（比較貼心的是USB-C口100W供電）。今年Intel在游戲本上主推HX系列（H55）以后，輕薄本都普遍開始用H系列（H45）標壓處理器了。而P系列和U系列這類低壓和超低壓CPU，今年就顯得十分罕見。

為了讓體驗不要顯得那么枯燥，除了聯想Yoga Pro 14s，我們也拉來了去年體驗過的采用12代酷睿的Dell靈越14 Plus，以及此前測試13代酷睿處理器時的臺式機（還加了Intel Arc獨顯）。

一方面可以看看，同樣是跑AI，13代酷睿相比12代酷睿有沒有進步；另一方面也給各位同學一個大致的概念——即PC跑AI和生成式AI，大約是什么樣的量級水平。這三臺設備的配置如下（注意，這次我們測試不會用上Dell靈越14 Plus的GeForce RTX 3050獨顯，因為生態上完全不一樣）：

* 測試都基于設備的最強性能模式，如Yoga Pro 14s設定為“超能模式”，而靈越14 Plus設定為“疾速”性能檔

值得一提的是酷睿i9-13900H作為13代酷睿CPU，其實和游戲本市場很火的i9-13900HX差別還是比較大的。后者和桌面端i9-13900K更接近（如上圖“參考臺式機”）。酷睿i9-13900HX相比i9-13900H，有更多的P-core與E-core核心數，更高的TDP功耗設定。所以如果考慮用今年的游戲本來跑后面的測試，結果應該會更好。

另外，一般我們說13代酷睿用的P-core性能核，是相比前代改良過的Raptor Cove架構，主要表現為cache架構優化，與工藝BKM迭代，所以在CPU能效方面有進步。只不過因為i9-13900H并未像i9-13900HX那樣增大L2/L3 cache，所以雖然Dell靈越14 Plus所用的酷睿i7-12700H是12代酷睿，我們仍然可以近似地認為，這兩臺本子的性能對比，很大程度上是CPU核心頻率差異，平臺內存帶寬與延遲變化（i9-13900H相比12代酷睿支持更高的內存頻率），以及OEM廠商系統設計給到的散熱與功耗限制差異對比。

就理論性能部分，我們簡單跑了一下Cinebench R23測試，給各位同學一個可參考的性能量級水平。這兩臺筆記本連續不間斷跑15輪Cinebench R23多核性能測試，得到如下結果：

從這項測試來看，Yoga比靈越性能領先約16%左右。這個結果基本符合頻率提升帶來性能提升的預期。不過i7、i9級別的筆記本標壓處理器，性能差異可能更大程度來自于系統設計的差異，而非芯片本身。值得一提的是，Yoga Pro 14s作為輕薄本，竟然還有著更持久的性能發揮，第15輪仍然發揮出了首輪92%的性能；而靈越14 Plus作為全能本，性能則在第15輪測試時掉到了87%。

持續性能對后面的測試是有價值的，比如ETH AI Benchmark一次要跑20分鐘，還有相對復雜的Stable Diffusion推理也需要持續性能。那么更持久的性能發揮，在很多AI測試中，也就能表現出更高的綜合性能（更短的inference等待時間）。

我們也簡單看了看Yoga Pro 14s的性能釋放水平，觀察4輪Cinebench R23循環測試下，CPU封裝功耗與溫度變化情況：

可以看出這臺筆記本還真的很不像“輕薄本”，系統設計給到的性能發揮相當激進。CPU滿載時，封裝溫度一直在95℃上下波動，前三輪測試封裝功耗最高記錄能夠達到87W——怪不得要配100W的適配器。在我們的印象里，“輕薄本”性能釋放應該都在20W左右的水平...

而且就我個人近半個月使用Yoga Pro 14s的體驗來看，這臺筆記本的噪音和外殼溫度控制都非常好，應該是我近些年用過的Windows筆記本中最好的水平。可見芯片之外，系統設計對于體驗的影響有多大。

在跑生成式AI前，先來跑個AI Benchmark

到目前為止，在PC上跑AI都沒有特別完善的benchmark基準測試工具。今年年中UL Procyon倒是出了個AI Inference Benchmark for Windows。但過去一周我們申請該工具的press license都沒有收到回復——直到前兩天全部測試結束后，UL Procyon回復了license......所以這次是趕不上了，等下次測試再用吧。

其實去年體驗另外一臺筆記本時，我們測過ETH（蘇黎世聯邦理工學院）的AI Benchmark。但這個測試工具的問題是，項目已經3年沒有更新，始終停留在alpha階段，大概已經不能代表現在AI的發展水平。但沒辦法，在遲遲沒有收到UL Procyon的回復之時，也暫時只能考慮用它了。

在嘗試跑ETH AI Benchmark的過程里，我們遇到了各種實際問題，比如說它所需的依賴包之一numpy版本過老，以及各種依賴包版本和路徑變量等問題。所以這個測試只作為參考。

值得一提的是，我們是在Windows 11的WSL（Windows Subsystem Linux）里面用Ubuntu 20.04.6 LTS系統跑的AI Benchmark測試。一方面是因為此前的文章我們就探討過，用WSL跑這類測試的效率和性能明顯更好；另一方面則是ETH AI Benchmark測試真的太老了，現在直接在Windows里面跑會遇到大量報錯，短時間內似乎也很難解決，大概主要還是依賴包的版本問題...

該測試所依托的TensorFlow庫一直在更新：去年8月測的時候還是TensorFlow 2.9，這會兒已經是TensorFlow 2.13了。所以從下面的結果，我們也能看出運行效率相比以前的顯著提升。

AI Benchmark測試項目比較多，這里只列出了其中9個。一方面可以看出i9-13900H相比i7-12700H，在跑AI的速度上的確還是快了不少的；當然核心數更多、cache更大的i9-13900K則在測試里表現出了碾壓級別的性能優勢——對于AI這種并行算力需求很大的負載而言，自然是計算單元越多越好。

另一方面，如果跟我們去年8月所做的測試對比，會發現：這次測得的性能成績，相比去年（去年測了酷睿i9-12900H與i5-1240P）有顯著提升。比如像PSPNet、UNet這些子項，inference和training時間都縮短了50%以上。顯然這就不是光靠CPU性能提升了，TensorFlow更新應該在其中起到了很大的作用。

在測試的命令行界面里，TensorFlow提示語提到了oneDNN（oneAPI Deep Neural Network庫）——去年年中，Intel新聞稿就提到oneDNN的性能優化就默認在TensorFlow 2.9版本中開啟了。所以可能部分性能提升是來自Intel這段時間在軟件方面的工作——不了解oneAPI是啥的同學，可以去看看Intel在這上面都做了些什么。

但實際上，12代、13代酷睿都并不支持AVX512指令，所以不清楚在CPU的指令執行層面，測試有沒有對應的加速。而且我們也留意到TensorFlow的提示語說，部分特定指令的加速支持還需要對TensorFlow做重新編譯（包括AVX2？）——因為時間原因，我們也沒能來得及這么做。則理論上，這些測試得到的成績還有進一步的提升空間。

另外，我們也觀察了一下在跑AI Benchmark的前4個網絡時，CPU封裝的溫度與功耗變化情況：

留意最下方那條平直的黃線——它代表核顯功耗全程幾乎無變化，表明這些測試并沒有用到核顯加速。就功耗和溫度數字來看，AI Benchmark也幾乎做到了讓CPU滿負荷：測試期間14個核心的頻率與使用率變化，也可佐證這一點。

這部分最后匯總AI Benchmark的性能得分：

對比去年測的ROG幻16（酷睿i9-12900H），AI Score總分是1956分；今年一臺輕薄本就把這個分數提升了65%。看來AI軟件與生態的發展的確還是相當迅速的，即便是CPU，即便是ETH AI Benchmark這個長久沒有維護的項目。

另外需要提一嘴，上述測試皆限定了WSL子系統的內存容量為12GB。我們也嘗試了將內存容量提升到24GB做測試，發現對這些測試的結果幾乎沒有影響，所以就沒有將24GB RAM的結果放上來。

讓AI寫代碼、作圖

接下來就該正式跑生成式AI了，無論Stable Diffusion，還是ChatGLM或Llama這些LLM，規模上都一定是上述測試的網絡所不能比的。

先談談Stable Diffusion，就是現在很火的，輸入提示語，就生成圖片的模型——這類應用當前在CV領域相當熱門。11月份《電子工程專輯》封面故事也將特別去談生成式AI對于計算機視覺的價值，歡迎屆時關注。

其實要在Intel平臺上去跑Stable Diffusion，我們發現路徑還不少。比如說針對Intel CPU可以用Optimum Intel庫加速Stable Diffusion；也可以用Stable Diffusion OpenVINO項目，在Intel GPU上跑Stable Diffusion；另外似乎還有PyTorch Stable Diffusion項目，也可以在Intel CPU、GPU上跑。

基于OpenVINO去跑Stable Diffusion，網上能搜到最常見的方法，應該是裝上Python、OpenVINO Notebooks，然后在Jupyter Notebooks里面按照一段段的代碼引導，來執行文生圖（text-to-image）或者圖生圖（image-to-image）的inference操作。流程上也不難，但我們沒有采用這種方法。

OpenVINO是個啥呢？前不久介紹Metoer Lake NPU的文章里，我們詳談了在面向開發者時，OpenVINO推理引擎相關的AI軟件堆棧。它能夠將Stable Diffusion或者別的模型轉為IR中間表達格式，然后令模型跑在不同的Intel處理器上。

我嘗試了我認為最簡單的方法，先下載GIMP（一個開源的修圖軟件），然后裝一個OpenVINO AI插件，就能在GIMP里面直接做文生圖操作了。這也是今年年初Intel對外宣傳輕薄本跑Stable Diffusion時演示的方法。Github上該項目名為OpenVINO-AI-Plugins-GIMP。

另外，Intel做的這個OpenVINO插件不光是有Stable Diffusion，還有包括一些常見的CV應用，比如對象語義分割、超分（super resolution）等；有興趣的同學可以自己去試一試。

感覺Intel做的這個GIMP插件有一點挺好，即Stable Diffusion的各個組成部分，包括文本編碼器、Unet、VAE解碼器可以由用戶分別指定，是跑在CPU上，還是跑在GPU上（以及未來的NPU上）。因為此前Intel在宣傳中就提過，雖說全部跑在GPU上速度很快，但功耗也不低——要達成最優能效，還是得奉行XPU方案。

在我們這臺Yoga Pro 14s筆記本上，選擇對應的模型，在20次迭代的選項下，輸入提示詞，輸出一張512x512的圖片，如果完全用CPU的話大約需要50+秒的時間。下面這些是我們在這臺筆記本上，讓Stable Diffusion生成的部分圖片：

看樣子我們寫生成提示詞的水平還有待加強，畢竟看到網上大家秀的圖都那么好看......不過進一步強化模型的話，未來用于輔助設計之類的工作，應該也是相當可期的。而且要知道，這真的就是憑借CPU的算力，在沒有VNNI加速、沒有GPU加速的情況下，不到1分鐘就inference出來的圖片。

有人說那為啥不直接用Midjourney這類云服務呢？隱私、安全與網絡連接限制是一部分；更重要的是在本地跑的話，模型可自己定制微調，幾乎沒有限制，這是Midjourney之類的服務做不到的。

沒有量化的成績始終沒什么意思。其實Intel為了展示PC平臺跑Stable Diffusion和LLM的能力，自己特別做了一站式的圖形化演示工具（基于Stable Diffusion webUI）——里面也放了他們做好的模型，點幾個按鈕就行（如上圖）。我們基于Intel提供的這款演示工具，來簡單測一測相同條件下，幾款參測設備的AI性能水平。

測試分成三輪，每輪給不同提示詞（三輪分別生成球場上正在打籃球的男人；月亮上騎著白馬的宇航員；桌子上色彩斑斕的芯片......當然實際提示詞會更復雜，另外設定了反向提示詞，例如不希望籃球場景出現草坪），輸出512x512分辨率的圖片，50次Unet迭代，選擇OpenVINO加速。記錄inference花費的時間，三次取平均。

因為首輪inference會涉及到模型優化與加載的過程——這個過程存在的變量比較多，所以以下記錄的都是模型加載完成后，第二輪inference的性能成績。因為OpenVINO也支持GPU加速，所以我們也測了用GPU來跑AI inference的成績，包括處理器自帶的Iris Xe核顯，以及臺式機上的Arc A750獨顯。

結果和ETH AI Benchmark是相似的。僅CPU的對比，酷睿i9-13900H（3.12 s/it）比i7-12700H（3.96 s/it）更快；而擁有更多核心數的i9-13900K（1.67 s/it）則是遙遙領先。GPU方面，兩臺筆記本所用核顯規格基本一致，可能i9-13900H的Xe核顯頻率會略高——所以兩者的GPU加速推理性能成績差不多（1.13 it/s vs 1.04 it/s）。

核顯加速的確能夠大幅縮短inference的時間，僅需CPU不到1/4的時間就完成了推理工作。當然，這些在Arc A750獨顯（9.13 it/s）面前都是浮云。聽Intel此前媒體溝通會的意思，他們在這類模型的GPU加速支持上，所做的工作還比較初級；未來的軟件更新，可能還會帶來很大的提升幅度。

注意這個成績并不能反映CPU、GPU推理Stable Diffusion的絕對性能，也不能反映CPU和GPU的相對性能關系——因為參數設定差異很大時，推理所需花費的時間差別也十分巨大。比如說如果還要做人臉加強修正（Stable Diffusion一般都畫不好人臉）和超分，或者增加迭代次數，那么inference的時間會明顯拉長數倍。所以上面這個成績只能反映不同處理器的并行算力存在差異。

另外，我們也記錄了用Yoga Pro 14s筆記本跑一次Stable Diffusion推理工作時，僅用CPU時、以及用GPU核顯加速時，IA核心（即CPU核心）與GT核心（即核顯）功耗變化情況，可給予各位同學以參考——功耗應該是粗粒度反映處理器資源利用效率的一個參考：

△ 僅使用CPU跑Stable Diffusion時, CPU封裝功耗與IA核心功耗變化

△ 使用GPU加速Stable Diffusion時，CPU封裝功耗與GT核心功耗變化

最后就是LLM大語言模型，也就是類似ChatGPT那樣的人機文字對話。Intel給出的LLM演示工具包含了3個模型，ChatGLM2-6b，Llama2-13b，StarCoder-15.5b。

這三個模型一方面有著不同規模的參數量（60億、130億、155億）；另一方面，ChatGLM用于中文對話，Llama羊駝則是現在相當流行、據說效果堪比ChatGPT的英文對話模型，還有個StarCoder是會寫代碼的大語言模型。所以我們面向三個模型，問了三個問題，分別如下：

△ 問ChatGLM2-6b，計算機科學與電子工程的區別是什么；

△ 問Llama2-13b，2.5D封裝與3D封裝的互聯間距區別是什么；

△ 讓StarCoder-15.5b寫一段MySQL代碼，創建table，并添加數據；

問答效果還是讓人滿意的。尤其是Llama2答有關先進封裝的問題，回復相當切題，是圍繞著我們限定的互聯間距來答題的，而不是隨隨便便說兩句2.5D和3D封裝的結構差異。

而向StarCoder發出的問題雖然比較簡單，但問題長度較長，是細致到建立一個MySQL表，并添加幾行數據的邏輯。回復也完全準確，畢竟StarCoder號稱是“最先進的代碼大模型”。

對于LLM而言，反映硬件算力的維度主要是first latency（首個token生成的時間，單位ms；可以理解為在發出問題后，模型反應需要多久）與after latency（其后平均token生成速率，單位ms/token；可以理解為模型回復時，打字的速度...）。上述三輪問答，我們測試得到的結果如下：

除了最后一個問題問出之后的等待時間達到了7秒，其余問題的first latency都是可接受的；而在首個token出現以后，基于人眼常規的閱讀速度，after latency也滿足直覺需求。

不過這份數據的參考價值可能更低。主要是因為模型針對相同問題作答的響應時間，每次都不大一樣，差別大到無法在少量取樣的情況下反映不同硬件的性能差異。除了臺式機表現出絕對性能優勢外，兩臺筆記本的表現飄忽不定，一會兒這臺強一些，一會兒那臺強一些。大概LLM inference的過程存在很多變量，所以這份數據就當是圖個樂吧...

這里就不分享跑LLM模型期間的處理器功耗變化了——Intel提供的演示工具沒有GPU加速選項，我們也觀察了模型inference期間的處理器狀態，發現的確沒有GPU的參與（在臺式機上觀察StarCoder模型inference全程，Arc A750顯卡的整體功耗都沒有波動，或GPU可能參與很少？）。

其實PC能跑生成式AI這件事，已經不是什么新聞了。有關生成式AI對于PC的價值，或者在PC上的應用，我們此前也寫過不止一兩篇文章。而AI PC只是Intel期望構建AI生態的其中一環，端到端的AI pipeline才是Intel著眼的，從云到端，從training到inference，從算力基礎到上層解決方案。雖說對Intel而言，這方市場的競爭難度現階段已然不小，聚攏PC市場基礎、擴展軟件生態亦有可為。

這篇文章期望給各位讀者構建起PC跑生成式AI的基本概念，給對AI感興趣的同學以基礎內容索引。未來我們會持續改進PC平臺之上，AI測試的工具與流程；而對于PC的探討，大概會越來越頻繁地提及AI，這也是行業的共識。