40年前，個人電腦的問世將強大的計算能力壓縮至人們的桌面。20年前，智能手機的誕生拉近了人與人之間的距離。今天，AI助手悄無聲息地滲透到我們的生活，改變著我們與世界互動的方式。
在上周剛剛落幕的OpenVINO??DevCon 中國系列工作坊北京站活動上，眾多行業先鋒和創新者們展現了AI技術在多個領域的實際應用。一個明顯的趨勢是：無論是行業領軍企業還是獨立開發者，無一不在全力以赴地“All In AI”。這些創新的解決方案，不僅標志著當前各行業對AI的應用正進入爆發式增長階段，也預示著AI將與我們的生活更緊密地聯系在一起——從職場到家庭，從醫療到娛樂，開啟一個充滿可能性的未來。
OpenVINO??2024.4版上線，支持最新英特爾? 酷睿??Ultra 處理器（第二代）并顯著提升大語言模型推理性能
英特爾OpenVINO??，作為一款先進的AI工具套件，為開發者們提供了實現理想的AI部署的平臺。英特爾不斷優化其性能，特別是提升其在PC和小型設備上運行大語言模型（LLM）的能力。最新發布的OpenVINO? 2024.4版本，為開發者帶來了諸多關鍵功能和性能改進，旨在確保大語言模型在所有場景中，無論是邊緣計算還是數據中心，都能實現卓越的AI性能。
首先，OpenVINO? 2024.4版本的一大亮點是新增了對最新英特爾? 酷睿? Ultra處理器（第二代）的支持：
●?在客戶端技術方面，支持全新的Xe2 GPU架構，該架構搭載于最新發布的英特爾? 酷睿??Ultra處理器（第二代）平臺，并由英特爾??Xe矩陣擴展（英特爾? XMX）加速技術驅動。Xe2架構在處理計算密集型任務，例如矩陣乘法方面，能夠帶來顯著的性能提升，對于加速大語言模型的部署至關重要。
●?英特爾? 酷睿? Ultra處理器（第二代）還引入了一個更強大的神經處理單元（NPU），其推理吞吐量相較前一代有重大升級。
在模型優化和內存管理方面，OpenVINO? 2024.4版本有效降低了AI部署的成本，優化了內存使用，并顯著減少了延遲。
●?創建了高度優化的GPU原語，如縮放點積注意力和旋轉位置嵌入，有效降低執行復雜AI操作的成本。此外，對內存管理進行了改進，更高效地支持帶有壓縮權重的模型，使得大語言模型能夠在資源受限的環境中，如筆記本電腦和邊緣設備上，能夠以最小的內存占用運行。
●?在英特爾? 至強? 處理器上運行時，OpenVINO??現支持由Open Compute Project規范定義的mxfp4格式，這使在運行大語言模型時，相比于BF16精度，能夠減少內存消耗，同時提高處理第二個Token的延遲性能。
在模型支持方面，OpenVINO? 2024.4覆蓋更多生成式AI。
●?支持GLM-4-9B Chat, MiniCPM-1B, Llama 3 和 3.1, Phi-3-Mini, Phi-3-Medium 以及YOLOX-s模型，并新增了一系列值得關注的Notebook。
●?與Hugging Face合作，更新了Optimum-Intel解決方案，使得在利用Hugging Face API運行模型的同時，能夠使用OpenVINO??高效地導出和壓縮模型，以供OpenVINO? GenAI套件API使用。
OpenVINO? DevCon盡顯社區創新活力，背包里的AI PC定義智能新紀元
今年，OpenVINO??發布了多個更新版本，且持續通過與開發者的交流和互動，將行業趨勢與OpenVINO??的最新技術帶給開發者，助力開發者系統進階。在近日舉辦的OpenVINO??DevCon中國系列工作坊北京站中，數百位開發者親臨現場，探討了“OpenVINO??加速PC及小型設備性能”的應用潛力，并展示了他們在語音智能交互、媒體娛樂、醫療分析等領域利用OpenVINO??實現的創新成果。
人形機器人展示：將大模型“裝進”AI PC，小巧機身濃縮超級智慧
在機器人領域，一個核心挑戰在于：如何將復雜的AI大模型部署到資源受限的本地硬件，賦予機器人以智慧的“生命”。這一挑戰猶如將一頭大象塞進狹小的冰箱，不僅考驗技術的高度，更要求在成本和性能之間尋找到最優的解決方案。
OpenVINO? 通過模型的量化、壓縮和加速，降低了AI大模型在邊緣設備上的運行負擔，并通過支持多硬件平臺，實現了計算資源的高效利用，使在AI PC輕薄筆記本上運行大型模型成為可能。當這些AI大模型與機器人、機械臂等硬件結合，它們就仿佛被賦予了生命，能夠聽懂人類的復雜指令，機智應對各種挑戰，展現著智能機器人的無限潛力。
對話式AI語音助手：聊天只是開胃菜，超級助理才是真身份
對話式AI語音助手已經在我們的日常生活中扮演越來越重要的角色。事實上，隨著智能化程度不斷加深，這些AI助手正走進醫療、教育、金融等多個領域，為各行各業的帶來效率提升。
例如，在醫院場景中，患者通常需要在候診室等待數小時，而醫生則被迫在幾分鐘內完成診斷。如何優化就診流程，成為了緩解醫患矛盾的關鍵?；贠penVINO? 搭建的大語言模型對話式AI助手，能夠幫助醫院改善這一狀況。AI語音助手通過語音識別和大型語言模型，在患者踏入診室之前就能與患者展開交流，收集其癥狀信息，并為醫生制作詳細的病例總結。如此，當患者進入診室，醫生便能夠直接進入診斷的核心環節，極大地縮短了就診時間，提升了患者滿意度。
與直播息息相關：AI化身美顏大師，數字人與未來共舞
在視頻直播盛行的今天，智能美顏和數字人技術已成為行業的標配。但如何降低相關技術的開發門檻和成本仍是行業持續探索的議題。如今借助英特爾OpenVINO?，相芯科技讓AI數字人和AR視頻特效技術實現了更低成本的部署。
例如，在視頻互動中，OpenVINO? 極致的優化能力結合相芯在AI美顏方面的多年積累，在AR視頻特效方面實現了出色的效果。AI在美顏時不僅能準確識別和修飾面部的細微瑕疵，如雀斑、痘痘，還能巧妙保留用戶的個人特色，確保美顏效果既真實自然又富有個性魅力。
依托OpenVINO??構建的AI數字人產品，也正被廣泛應用于在線教育、遠程辦公、直播帶貨、社交娛樂等多個領域。OpenVINO??通過優化的開發框架，提高了模型的轉換速度和壓縮率，不僅降低了資源消耗和成本門檻，還確保了模型在不同硬件平臺上高效運行。從教育啟迪到娛樂陪伴，從工作輔助到情感交流，數字人應用的深度和影響力不斷加深。
當AI 走進日常生活：減負、傳承…指尖智慧締造美好生活
OpenVINO??不僅推動著行業AI應用的發展，更為眾多獨立開發者提供了施展才華和創意的平臺。從技術博主到懷揣夢想的學生和創業者，他們利用AI技術，探索如何讓科技服務于人，真正改善人類生活的世界。
把授課交給老師，批改作業交給機器
長久以來，學校教師肩負著作業批改的繁重負擔。一款基于OpenVINO??構建并優化的離線作業批改應用幫助教師緩解了這一難題。只需將題目輸入到筆記本電腦，AI大模型便能將學生答案與標準答案自動進行比對，完成作業批改。結合打印機，批改結果便能即時呈現在學生試卷之上。每分鐘超過60份試卷的批改速度，批改準確率超過95%，讓教師徹底從繁重的體力勞動中解放出來，大大提高了教育工作的效率。
利用OpenVINO?，跨過批量剪輯視頻之“痛”
在數字營銷的戰役中，出街速度至關重要。北京海百川有限公司開發的AIGC數字內容生成結合全息硬件展示系統能夠輕松處理復雜任務，從視頻生成、虛擬互動到與大型AI模型的集成，使得在視覺識別、面部表情和身體動作的捕捉上都能生成引人入勝的數字內容。通過高性能的AI推理引擎，系統能夠自動捕捉熱點，制作出適應不同語言和文化環境的視頻內容，達到批量生產視頻的效果，滿足市場的多樣化需求和對速度的追求。
傳統針灸“智慧”傳承，AI技術功不可沒
針灸作為一種傳統的中醫療法，其操作依賴于針灸師手工進行。隨著城市化和人口老齡化帶來對針灸服務的需求的上升，現有的針灸師隊伍難以滿足龐大的市場需求。上海墀圣信息科技有限責任公司借助英特爾的OpenVINO??開發的謐行針灸系統方案，通過智能化手段，不僅能夠快速準確地識別人體穴位，還通過量化針灸手法，實現了治療操作的標準化，提高了治療的效率和準確性。此外，龐大的針灸知識數據庫，還為針灸咨詢、學習與考核提供了支持，加速了針灸知識的普及與傳播。
隨著OpenVINO? 2024.4版本的發布，工程師將可以利用更多的性能加速創新。英特爾將繼續與全球開發者一起，探索AI的未知領域，讓每一個創意都能成為現實。
?英特爾公司，英特爾、英特爾logo及其它英特爾標識，是英特爾公司或其分支機構的商標。文中涉及的其它名稱及品牌屬于各自所有者資產。
相關資訊
/轉載請注明出處/
