隨著人工智能能力的問(wèn)世與發(fā)展，越來(lái)越多的企業(yè)開(kāi)始了解與融入模型能力，希望借助大模型賦能企業(yè)的部分場(chǎng)景，本文主要聚焦工業(yè)現(xiàn)場(chǎng)，針對(duì)生產(chǎn)、運(yùn)維、設(shè)備管理等場(chǎng)景，探究空間智能概念在工業(yè)中有哪些作用？人工智能又該如何融進(jìn)空間智能體系？分享嘉賓｜吳侖 亮風(fēng)臺(tái) 高級(jí)解決方案總監(jiān)
內(nèi)容已做精簡(jiǎn)，如需獲取專家完整版視頻實(shí)錄和課件，請(qǐng)掃碼領(lǐng)取。
去年，蘋果發(fā)布 Vision Pro ，同年 ChatGPT 進(jìn)入大眾視野，這兩件事引起了業(yè)界的強(qiáng)烈反響。這代表了空間互聯(lián)網(wǎng)的到來(lái)。
互聯(lián)網(wǎng)發(fā)展目前經(jīng)歷了三階段：PC 互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、空間互聯(lián)網(wǎng)。第一階段以文檔數(shù)據(jù)為主，第二階段隨著視頻圖像的增多，有了二維數(shù)據(jù)，第三階段逐漸變成三維可視化數(shù)據(jù)，同時(shí)會(huì)有 AIGC 的數(shù)據(jù)生成，數(shù)據(jù)會(huì)隨著互聯(lián)網(wǎng)的服務(wù)方式的改變不斷迭代升級(jí)。結(jié)合該背景，工業(yè)的生產(chǎn)環(huán)境也在迎合基礎(chǔ)變化，加入物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能一系列技術(shù)構(gòu)建基礎(chǔ)底座。現(xiàn)在有了新技術(shù)、新方法，能達(dá)到更高的層級(jí)，整個(gè)工業(yè)發(fā)展往智能化方向做轉(zhuǎn)型。所謂空間智能大概是什么樣子？可實(shí)現(xiàn)操作人員跟現(xiàn)場(chǎng)進(jìn)行多種多樣的交互，能把很多虛擬化信息直接展現(xiàn)在現(xiàn)場(chǎng)空間。通過(guò)佩戴智能可穿戴設(shè)備，能看到現(xiàn)場(chǎng)留下的信息，實(shí)現(xiàn)所見(jiàn)即所用，直接在前端交互。將數(shù)據(jù)和知識(shí)留在現(xiàn)場(chǎng)是核心概念，在現(xiàn)實(shí)物理空間查看知識(shí)，不必再去到后端查閱，這是我們所描繪的比較完整的空間智能應(yīng)用場(chǎng)景。
要構(gòu)建完整的空間智能場(chǎng)景需要哪些基本能力？空間智能指是三維空間中的感知、理解和交互。如何利用人工智能方法更好地理解三維空間，并且把三維空間中的一些數(shù)據(jù)上傳，同時(shí)跟人進(jìn)行更智能的交互，這是所要解決的問(wèn)題。包含兩大核心能力：AR 空間計(jì)算能力與AI 能力。隨著大模型技術(shù)的興起，把兩部分結(jié)合，使之更好地完成所需任務(wù)。AR 空間計(jì)算，主要解決數(shù)據(jù)集成、可視化、人機(jī)交互、場(chǎng)景感知等核心問(wèn)題。AI 大模型在系統(tǒng)中主要解決場(chǎng)景理解、智能交互、自主進(jìn)化、智能決策等基本問(wèn)題，這是兩種能力的基礎(chǔ)性區(qū)分。
空間智能在過(guò)去已經(jīng)落實(shí)到工業(yè)的多個(gè)應(yīng)用場(chǎng)景，涵蓋了工業(yè)生產(chǎn)大部分流程，其中包含客戶服務(wù)類、運(yùn)維、技能培訓(xùn)三大類，應(yīng)用場(chǎng)景非常廣泛。空間智能工業(yè)應(yīng)用
從現(xiàn)場(chǎng)服務(wù)需求角度出發(fā)，共有三部分需求，
獲取更全面的數(shù)據(jù)。包括已有的結(jié)構(gòu)化數(shù)據(jù)與實(shí)時(shí)采集到的現(xiàn)實(shí)空間數(shù)據(jù)，有了這部分?jǐn)?shù)據(jù)能進(jìn)行更好的現(xiàn)場(chǎng)工作。
反饋及時(shí)。通過(guò)各種智能化系統(tǒng)，在數(shù)據(jù)推送后進(jìn)行及時(shí)反饋，一方面指前端操作人員的反饋，另一方面指后臺(tái)系統(tǒng)的及時(shí)反饋。
決策正確。基于輸入的信息，如何快速做決策？AI 與人的作用需要思考，在人工智能大模型階段，我認(rèn)為大模型并不能完全替代人，雖然大模型的記憶能力非常強(qiáng)，但推理能力不足以取代人，在現(xiàn)場(chǎng)工作空間中，大模型更多承擔(dān)輔助角色。
雖然人工智能大模型是熱門板塊，且大多企業(yè)認(rèn)為該技術(shù)能解決很多問(wèn)題，但實(shí)際落地過(guò)程當(dāng)中還是會(huì)遇到很多阻礙，凝練出三點(diǎn)：以上也是目前人工智能在精確度要求不高、娛樂(lè)交互場(chǎng)景用得更多的原因，因?yàn)槟切﹫?chǎng)景的容忍度相對(duì)較高。基于以上問(wèn)題，我們有一套解決思路。因?yàn)榇竽Ｐ托枰⒎且货矶偷模?dāng)系統(tǒng)搭建后，需要進(jìn)行整體優(yōu)化。所以結(jié)合空間智能應(yīng)用場(chǎng)景，構(gòu)建“人、數(shù)、場(chǎng)”閉環(huán)，可以形成正向數(shù)據(jù)飛輪。
第一部分是數(shù)據(jù)生成，數(shù)據(jù)生成需要高質(zhì)量工業(yè)數(shù)據(jù)，實(shí)際上很多結(jié)構(gòu)化數(shù)據(jù)存在幾點(diǎn)問(wèn)題。第一，數(shù)據(jù)多集中在文字文本形式。第二，在一些工廠中，大家并沒(méi)有對(duì)結(jié)構(gòu)化數(shù)據(jù)做很好的整理，這也是制約大模型應(yīng)用的重要原因。第三，在現(xiàn)場(chǎng)工業(yè)環(huán)境中，不只依賴單一維度的數(shù)據(jù)，對(duì)于文字、文本、圖像、視頻、三維模型術(shù)語(yǔ)，都具有依賴性。在數(shù)據(jù)生成方面，需要提升數(shù)據(jù)的質(zhì)量與來(lái)源。第二部分是模型迭代，現(xiàn)在工業(yè)的部分應(yīng)用場(chǎng)景還是小模型發(fā)揮作用，小模型的數(shù)據(jù)質(zhì)量更高，一旦利用大模型，會(huì)因?yàn)閿?shù)據(jù)不達(dá)標(biāo)，導(dǎo)致大模型在初期難以使用。所以小模型+大模型結(jié)合是較實(shí)際的路徑，同時(shí)要加強(qiáng)數(shù)據(jù)生成的優(yōu)化。第三部分是空間智能交互，空間智能交互是交互必不可少，完全靠系統(tǒng)自身迭代、反饋，會(huì)存在一定偏差。所以在真正構(gòu)建場(chǎng)景應(yīng)用的過(guò)程中，我們會(huì)融入人的交互反饋過(guò)程，有利于整個(gè)數(shù)據(jù)的迭代、模型優(yōu)化，這是整體思路。在數(shù)據(jù)生成方面：總體目標(biāo)是要形生成高質(zhì)的工業(yè)語(yǔ)料庫(kù)，傳統(tǒng)數(shù)據(jù)已經(jīng)在進(jìn)行結(jié)構(gòu)化。在空間智能生產(chǎn)環(huán)境當(dāng)中，還會(huì)有新型的數(shù)據(jù)出現(xiàn)。其中空間三維數(shù)據(jù)、位置數(shù)據(jù)、操作人員現(xiàn)場(chǎng)的交互性數(shù)據(jù)，這類數(shù)據(jù)是以前數(shù)據(jù)庫(kù)中缺失的部分，通過(guò)系統(tǒng)的構(gòu)建，把數(shù)據(jù)加入到原有數(shù)據(jù)庫(kù)中，能豐富數(shù)據(jù)庫(kù)的構(gòu)成，同時(shí)同步人的反饋信息，促進(jìn)數(shù)據(jù)質(zhì)量的提高。
大模型+小模型是目前較常用的方式：在實(shí)際構(gòu)建過(guò)程中，要加入更高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)作為預(yù)訓(xùn)練語(yǔ)料，同時(shí)也可以對(duì)大模型的生成結(jié)果進(jìn)行二次知識(shí)校驗(yàn)，形成正向循環(huán)，促進(jìn)大模型的真正落地應(yīng)用。
空間的智能交互反饋機(jī)制：整套人工智能體系在現(xiàn)場(chǎng)工作環(huán)境中是人的助手，并不能替代人。人能給系統(tǒng)給予有效反饋，因?yàn)橹悄芸纱┐髟O(shè)備能獲取更多的現(xiàn)場(chǎng)工作環(huán)境信息，這部分信息分為兩類，一類指事先采集信息，例如文本、圖片、視頻。另一類指人的實(shí)時(shí)反饋信息，像手勢(shì)、語(yǔ)音等都可以通過(guò)智能設(shè)備采集。在完整的工作流程中，會(huì)有各種各樣的突發(fā)情況，針對(duì)于這部分情況加上人的真實(shí)反饋機(jī)制，對(duì)整套系統(tǒng)的運(yùn)行提供有效的迭代機(jī)制，通過(guò)以上兩種方式，可以實(shí)現(xiàn)整套系統(tǒng)的正常循環(huán)。空間智能落地方案與案例
從整體方案架構(gòu)上看，我們是圍繞空間計(jì)算與 AI 大模型能力為基礎(chǔ)，以“設(shè)備”為中心，構(gòu)建空間 AI 計(jì)算平臺(tái)。
從數(shù)據(jù)角度出發(fā)，分為兩大塊，一塊指原有的工業(yè)數(shù)據(jù)生產(chǎn)要素，如現(xiàn)有的結(jié)構(gòu)化數(shù)據(jù)。另一塊指工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)，包括實(shí)時(shí)獲取數(shù)據(jù)。通過(guò)這套平臺(tái)的構(gòu)建，應(yīng)用于制造、供應(yīng)鏈、培訓(xùn)設(shè)備的巡檢點(diǎn)、運(yùn)維等場(chǎng)景中。
上圖是現(xiàn)場(chǎng)超級(jí)助手的整體框架，包含基礎(chǔ)的一些能力，其中空間計(jì)算部分提供環(huán)境的理解、跟蹤、識(shí)別的基礎(chǔ)能力，大模型相對(duì)偏后端，提供數(shù)據(jù)分析、智能決策方面能力。應(yīng)用端結(jié)合后端的核心能力生成各種應(yīng)用，例如巡檢、運(yùn)維、售后都會(huì)有專門的入口，結(jié)合場(chǎng)景實(shí)際特點(diǎn)構(gòu)建應(yīng)用。
上圖介紹了空間智能的典型應(yīng)用場(chǎng)景，其中設(shè)計(jì)和原型制作是目前大模型在工業(yè)應(yīng)用中，探討熱度較高的方向。從執(zhí)行的角度，對(duì)于裝配維修、設(shè)備運(yùn)維場(chǎng)景的探索較多，這部分距離生產(chǎn)很近，也是工廠較關(guān)注的方向，但難度較大。
在該場(chǎng)景前端應(yīng)用部分，主要是標(biāo)準(zhǔn)作業(yè)的流程指導(dǎo)方面的任務(wù)，這些任務(wù)多依賴于知識(shí)庫(kù)的，在前端會(huì)使用智能可穿戴設(shè)備，可穿戴設(shè)備相當(dāng)于人的助手，可以在工作過(guò)程中實(shí)時(shí)幫助人進(jìn)行各種設(shè)備的檢修。數(shù)據(jù)庫(kù)在執(zhí)行案例中，多把知識(shí)圖譜結(jié)合 AI 的智能問(wèn)答能力共同構(gòu)建體系。隨著大模型技術(shù)的演化迭代，同時(shí)將大模型能力融入到系統(tǒng)中，推進(jìn)項(xiàng)目的升級(jí)。
該場(chǎng)景以問(wèn)答為主，問(wèn)答是文本類的加多模態(tài)數(shù)據(jù)，包括文字、視頻、三維模型數(shù)據(jù)，提前幫助工廠構(gòu)建數(shù)據(jù)庫(kù)。但目前體量較小，由于工廠以前的智能問(wèn)答都基于原有的數(shù)據(jù)。另外一部分?jǐn)?shù)據(jù)是線上收集的實(shí)時(shí)數(shù)據(jù)，數(shù)據(jù)庫(kù)在系統(tǒng)集成過(guò)程中是不斷增長(zhǎng)的。利用大模型技術(shù)為一線員工進(jìn)行操作，實(shí)現(xiàn)智能問(wèn)答、關(guān)鍵詞設(shè)置、AI助手訓(xùn)練等，能夠快速為員工提供有效信息，并持續(xù)學(xué)習(xí)與改進(jìn)。
培訓(xùn)場(chǎng)景相對(duì)與生產(chǎn)環(huán)境相對(duì)友好，會(huì)把企業(yè)的知識(shí)信息輸入到系統(tǒng)中，將設(shè)備的全部信息包括狀態(tài)、操作歷史等以實(shí)景結(jié)合的形式進(jìn)行展示與交互。替代老師傅的傳授功能，給部分新員工進(jìn)行整體培訓(xùn)，相比較傳統(tǒng)的培訓(xùn)更加直觀、易學(xué)、節(jié)約時(shí)間，提高了新人培訓(xùn)的效率。強(qiáng)化訓(xùn)練效果，結(jié)合情況提供合適的情景訓(xùn)練，邊學(xué)邊做，實(shí)踐結(jié)果反饋于訓(xùn)練過(guò)程。指導(dǎo)員工的流程性操作，保障安全性與規(guī)范性，提升工作質(zhì)量。并且?guī)椭髽I(yè)不斷沉淀數(shù)字化內(nèi)容，形成自有知識(shí)庫(kù)。以上是工業(yè)現(xiàn)場(chǎng)環(huán)境中，空間智能應(yīng)用較為成熟的幾個(gè)落地場(chǎng)景。但是過(guò)程中還有很大的提升空間，人工智能大模型技術(shù)的出現(xiàn)，能為我們提供更多的想象力，把整套系統(tǒng)建設(shè)得更更完善、更智能。以上就是本次分享，如需獲取專家完整版視頻實(shí)錄和課件可掃碼領(lǐng)取。
?
長(zhǎng)按二維碼，領(lǐng)取完整版視頻實(shí)錄和課件
北京理工大學(xué)光學(xué)工程專業(yè)增強(qiáng)現(xiàn)實(shí)方向博士，美國(guó)伊利諾伊大學(xué)香檳分校電子工程專業(yè)訪問(wèn)學(xué)者。前湯姆遜北京研究院研究員，百度高級(jí)研發(fā)工程師，工信部智能制造標(biāo)準(zhǔn)驗(yàn)證項(xiàng)目AR技術(shù)負(fù)責(zé)人，現(xiàn)為亮風(fēng)臺(tái)高級(jí)解決方案總監(jiān)。長(zhǎng)期從事計(jì)算機(jī)視覺(jué)以及增強(qiáng)現(xiàn)實(shí)技術(shù)的研發(fā)工作，主導(dǎo)了公司內(nèi)部多個(gè)大型應(yīng)用項(xiàng)目的落地。在AR工業(yè)、教育、營(yíng)銷應(yīng)用方面具備豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。注：點(diǎn)擊左下角“閱讀原文”，領(lǐng)取專家完整版實(shí)錄和分享課件。
