近日，國內(nèi)領(lǐng)先的大模型廠商智譜在智譜清言的官網(wǎng)發(fā)布了智譜清言英特爾酷睿Ultra專享版，這個版本可以利用英特爾酷睿Ultra處理器提供的澎湃的AI算力，在不聯(lián)網(wǎng)的情況下就可在PC本地運行智譜的端側(cè)模型，為廣大用戶提供高隱私、重安全的、在弱網(wǎng)或斷網(wǎng)情況下依然可以使用的AI助手。
智譜清言是擁有海量用戶的端側(cè)應(yīng)用，涵蓋了移動及PC端，是基于云端大模型的人工智能助手，并有很多附加功能，深受用戶喜愛。在PC上使用時，有些用戶會有一些個人或者組織的隱私數(shù)據(jù)或者有一定安全要求的數(shù)據(jù)希望在本地處理，避免相關(guān)數(shù)據(jù)的泄密風險，同時在某些弱網(wǎng)或斷網(wǎng)情況下，很多用戶也有在PC上使用大模型的AI助手的需求。
英特爾自2023年12月發(fā)布了命名為酷睿Ultra第一代AI PC處理器，為在PC端側(cè)運行AI應(yīng)用提供了優(yōu)秀平臺。在這一代的處理器中，創(chuàng)新的增加了專門的AI處理單元：NPU，也就是神經(jīng)網(wǎng)絡(luò)處理單元。同時第一代的酷睿Ultra處理器又大幅度的提升了內(nèi)建顯卡的算力，為圖形計算和AI運算提供了澎湃的算力。加上傳統(tǒng)的CPU，在這一代的酷睿Ultra處理器上就通過CPU+NPU+iGPU (內(nèi)建圖形處理單元)為不同的AI負載提供了合適的算力引擎。其中CPU適合一些對延遲性要求較高的AI應(yīng)用，而一些持續(xù)性的、低負載的AI應(yīng)用適合運行在NPU上，iGPU更適合運行一些大吞吐量的AI運算。
結(jié)合英特爾酷睿Ultra的強大AI算力，智譜結(jié)合自己在云和端側(cè)豐富的模型和應(yīng)用開發(fā)經(jīng)驗，很早就與英特爾的工程技術(shù)人員開始了聯(lián)合開發(fā)。雙方團隊緊密溝通，充分發(fā)揮雙方在軟、硬件上優(yōu)勢，在本地模型的選擇上確保了模型參數(shù)與準確性的平衡，同時采用了合理的量化技術(shù)確保了合理的模型文件尺寸，另外在性能調(diào)優(yōu)上選取了優(yōu)秀的工具鏈確保了本地模型運行高效的運行在處理器之中的AI引擎上。
這個版本會自動檢測PC平臺的配置，在滿足條件的英特爾酷睿Ultra PC上會自動下載合適的端側(cè)模型，通過這個端側(cè)模型，用戶可以利用英特爾酷睿Ultra的本地AI算力，為用戶提供端側(cè)的個人助手，包括知識問答、文檔撰寫、創(chuàng)意生成等工作。比如：可以將若干篇存在PC本地的文檔通過在RAG（Retrieval-augmented Generation，檢索增強生成）形成專有的知識庫，并通過自然語言查詢，而輸出的內(nèi)容既包含了來自本地文檔的專業(yè)信息，同時輸出內(nèi)容也更加自然并有邏輯。另外，智譜清言的英特爾酷睿Ultra專享版還可以完成本地長文檔的摘要等工作，極大的提升了生產(chǎn)效率，形成了用戶身邊的、隨時隨地的“AI助手”。
隨著英特爾不斷推出酷睿Ultra處理器新品，相關(guān)的AI算力也在不斷提升。英特爾將持續(xù)攜手包括智譜在內(nèi)的國內(nèi)領(lǐng)先的AI應(yīng)用廠商推出更多的適合國內(nèi)用戶的AI PC應(yīng)用，豐富AI PC生態(tài)圈。
*可以訪問Intel.com/aipc及intel.cn/aipc了解更多有關(guān)英特爾AI PC相關(guān)內(nèi)容。
*可以訪問智譜清言官網(wǎng)https://chatglm.cn/ 了解更多有關(guān)智譜清言英特爾酷睿Ultra專享版相關(guān)內(nèi)容。
?英特爾公司，英特爾、英特爾logo及其它英特爾標識，是英特爾公司或其分支機構(gòu)的商標。文中涉及的其它名稱及品牌屬于各自所有者資產(chǎn)。
相關(guān)資訊
/轉(zhuǎn)載請注明出處/
