大模型近兩年在企業中的落地成果比較明顯，大模型落地進展如何，落地趨勢聚焦在何處，哪些場景更加適合企業落地大模型？本文主要圍繞大模型在企業中的趨勢、落地情況、推廣和相關案例展開。
分享嘉賓｜張揚 愛分析聯合創始人&首席分析師
內容已做精簡，如需獲取專家完整版視頻實錄和課件，請掃碼領取。
第一，大模型作為數字化建設的重要組成部分，為何在數字化框架內必須將其作為一個核心的考慮要點。同樣的，在整體預算可能收緊的情況下，大模型作為新增預算，很多企業在立項的時候需要去考慮為什么要去投入大模型。第二，介紹當前大模型落地的實際進展，包括企業所關注的應用場景，以及哪些場景的應用最為廣泛，哪些業務的應用最為頻繁。第四，結合目前已有的部分企業開始落地大模型的情況，分享一些我們在大模型推廣方面的經驗。
01
首先，我們探討一下大模型與企業數字化建設之間的關系。數字化建設本質上仍然離不開企業自身的戰略解碼，包括財務目標的實現，因此，所有的數字化變革都源于企業的業務需求。然而，宏觀環境的不確定性導致近兩年企業業務并不穩定，從最優秀的企業來看，A股上市公司今年上半年的整體利潤為-2%左右，整體凈利潤規模約為2.9萬億元，其實2023年就已經出現了一定程度下跌的趨勢。這意味著，中國最優秀的企業群體的整體利潤正在下滑，其中大部分甚至是國有企業。國有企業今年上半年的利潤增長同樣為不到-1%，只有最好的央企今年上半年的利潤總額有所增長。如果我們將價值創造定義為最終產生的利潤，那么實際上，這個價值整體趨勢是下滑的。這也就對數字化建設提出了明確的要求，即如何創造新的價值。基于這個大的數字化戰略目標，無論是在財務方面還是業務方面，本質上所聚焦的是價值創造目標。一方面需要拆解至商業模式層面，思考如何進行創新；另一方面則要拆解至能力建設層面，尤其是數字化能力建設方面，探究如何筑牢更堅實的基礎。在這個過程中，我們拆解出了8個要點。在能力層面，涵蓋技術、數據、文化和運營等方面；而在商業模式方面，更多地涉及商業模式創新，包括對外的體驗側和需求側，以及對內的產品側和供應鏈側，也就是企業內部業務流程。可以看出，在絕大多數要點上大模型都帶來了一些變化。首先，從基礎的能力建設角度來講，大模型釋放了過去較為核心的一些非結構化數據的價值。未來，尤其是展望到2025年甚至2026年時，大家主要的期望還是集中在技術，尤其是模型技術的迭代上。其中最核心且我們較為看重的一點，是模型技術本身的自主學習與決策能力。實際上，目前在模型側已經有一部分研究論文開始朝著自主進化的方向進行探索，這意味著模型不能僅僅基于當前的訓練給出結論，而是要在持續運營的過程中實現自我迭代。這就如同現在一些Paper中所提到的模型的終身學習，例如阿里的Paper中提到了自主進化，其本質意思是一致的，即技術本身是否有可能實現自我迭代。這也是未來我們在展望未來兩年大模型技術時，認為最核心且最具價值的一點。基于這兩個要點，對于商業模式而言，首先我們可以看到內部業務流程存在很大的變革機會。過去的數字化方式基本上是先確定業務流程，業務部門的業務專家先確定需求文檔，然后IT團隊將其轉化為產品需求文檔，再進行落地實施。也就是說，過去的業務邏輯是先確定流程，本質上是將SOP固化在系統中。而正如前面所提到的，未來的技術具有自主進化的功能，最初可能體現在模型的自主進化上，但當它轉變為內部業務流程的自主進化時，就不再是單向的業務流程決定系統，而是當系統有更好的進化方向時，有可能會影響業務流程。這樣一來，無論是內部的產品創新還是供應鏈創新，都會有新的源頭。舉個簡單的例子，有一些企業用戶提出，在產品研發方面，過去產品研發基本屬于知識密集型，主要靠投入人力，企業通常會關注在產品研發的費用，以及研發人員的數量、人力資源質量分布、軟件專著和論文發表情況等，這是過去衡量研發的一套思路。而在這個過程中，大模型能夠為這種知識密集型流程創造更大價值。比如，我們看到有化工企業在考慮，在產品研發過程中過去積累的知識密集型文檔能否通過大模型生成新的配方。過去傳統數字化在產品研發方面更多是在做流程和協作。但大模型對過去的產研體系有一定變革，這是我們從業務流程層面，尤其是內部業務流程層面看到的最大重塑和變化，也是未來幾年大模型最值得期待的一點。關于體驗創新這塊，是高度的個性化服務，這比較容易理解，在此不展開贅述。總體而言，從大模型在過去兩年來的發展來看，當前仍處于初級階段。落地的項目按照我們剛才所講，更多還在體驗側，以及激活非結構化數據的價值上。但未來，無論是在流程變革還是價值創新層面，我們對模型技術都有更多期待點。這其實是當前推進數字化最核心的、需要大模型的變化原點。
02
第二部分，和大家分享一下大模型在企業內部落地的進展，這也是基于我們與100多家大型企業持續溝通和交流的結果，他們之中絕大部分收入都在100億以上。第一，落地階段。去年絕大部分企業還在觀望，今年基本上2/3的企業已經開始投入實際探索甚至是進入試點速贏階段。從預算角度來講，去年我們溝通時，大部分企業預期拿出整個AI預算的10%，如果放到整個IT預算里可能就不是很多。但今年溝通時，絕大部分企業提到大模型預算占IT預算的比例，目前大部分提到的可能都是5%左右。在與大部分企業溝通時，由于現在即將進入2025年規劃季，雖然整個IT預算明顯下降，但大模型基本上是大家唯一看到的正向增長的IT預算項目。后續，我們會在第四季度重點調研明年大家對于大模型IT預算的投入預期，為明年大家做規劃時提供更好的指導。第二，落地手段。絕大部分企業還是采用私有化部署的開源模型，重點還是在上層應用的定制開發上。第三，落地目的。關鍵核心主要在于利潤問題，在這個過程中，并非僅僅是簡單的減員、降本增效，尤其是對于很多央企而言，更多的是在新業務或者老業務翻新的過程中重塑業務模式，從而提高業務本身的人效。因為在央企的評估指標中，如國資委給出的指標里確實存在全員勞動生產率這一項。所以，我們所說的降低成本、提高運營利潤，主要是指在創新的新業務中是否有更好的人效，這可能是央企比較關注的一個要點。第四，落地場景。從通用角度來講，大部分落地的項目為知識庫項目和ChatBI項目，很多企業與我們交流的需求中，要落地的項目基本也以這兩類居多。從職能部門角度，最早通常是從營銷跟銷售開始，基本是以客服或者營銷素材生成為起點。但在進一步推進的過程中，還是存在明顯的門檻。從2025年和2026年的角度來看，我們更看重研發這一塊，研發不僅是單純的產研場景，還包含生產環節。其核心原因在于過往的研發及生產過程中有大量成熟案例的沉淀，尤其是非結構化知識文檔的沉淀，另外大模型也確實適合解決這些問題。因此，我們認為未來研發是更值得大家關注的生產場景，企業在內部探索時，研發側的價值更值得關注。從行業角度來講，主要圍繞央企和國企，重心集中在能源行業和金融行業。此外，我們建議制造業企業更多地在研發場景中關注這個點。03
接下來和大家分享一下項目建設過程中的一些問題。在項目建設過程中，我們總結了幾個大的方向。首先是大家關心的建設路徑問題，即到底是選擇進行能力建設還是應用建設，以及模型是否需要訓練等。這些是大家從建設本身角度首先關心的問題。其次，在核心規劃和落地時，大家主要關注兩個點，一是業務收益，二是落地的可行性，以及如何進行供應商的選型。首先是關于能力建設和應用建設。在能力建設中應該關注哪些點，我們的建議基本上有幾個。第一，關于訓練的問題。目前來看，絕大部分企業當前在能力建設角度還沒有進行太多的訓練和微調。相對來說，這對于絕大部分企業可能更合適一些。背后有幾個核心原因，一是模型版本還在迭代，今年尤其是上半年，大部分模型廠商基本每個月都會發布一個新版。目前大家預計GPT-5會在今年年底或明年年初推出。在這樣的大背景下，如果進行微調或預訓練，本質上模型與數據知識會耦合在一起。一旦更新模型，上面所有知識的復用效果基本就消失了，這是從建設成本角度的第一個考量。第二，底層算力問題。實際落地建設時，首先涉及到可能不只是幾張英偉達的顯卡，肯定還會涉及到國內各種異構顯卡來支持訓練。這時就會出現顯卡本身的效率問題，尤其是異構顯卡的效率問題。而且國企和央企的算力不一定那么完整，過去也沒有做太多儲備。所以，對算力的要求門檻較高。實際落地時，如果涉及很多異構算力，如何用好算力不僅需要有經驗的模型開發人員，也需要底層顯卡的芯片廠商參與其中。例如已經進行過訓練的某央企，就有大量科大訊飛和華為的團隊駐場，幫助解決實際訓練問題。所以，訓練過程中，不僅算力是問題，背后所需的人才也很稀缺。第三，不建議只選擇一個百億參數的模型，能力邊界拓展性會更弱。現在除了絕對的頭部企業在進行模型訓練以外，絕大部分企業還沒有進行訓練，我們也認為現在對于大部分企業來說不是進行訓練的特別好的時間點，2025年甚至2026年可能是比較好的選擇時間點。除了關注底層訓練以外，在中臺層面，尤其是中臺的三件套工具希望大家重點關注，即Agent、知識工程和數據分析。核心原因是我們剛才提到的絕大部分場景，基本上這三件套工具都能支持到。雖然上層列出了很多場景，但實際上這些場景基本都能被這三件套工具支持到99%。所以，在進行能力層建設時，不希望每次建設的場景背后的后臺工具都是單獨開發的，這些工具的復用非常重要。對于進行能力建設的企業來說，這幾套工具的選擇以及搭配協作，是在能力建設過程中比較核心的一個點。第二個方面是關于如何評估業務收益以及技術可行性。在此之前，首先需要構建整個公司的大模型場景地圖，這可以作為選擇場景的池子。構建地圖有三種方法，包括內部業務流程、對外的客戶旅程以及按職能部門進行構建，但絕大部分企業通常會選擇前兩種方法。上面是一張銀行基于個人信貸業務構建的大模型場景地圖，在構建這個地圖的過程中，能夠使整個企業的業務梳理得更加順暢。我們之前提到業務流程可能會因技術變化而發生改變，這些變化需要在場景地圖中體現出來，所以這個地圖是一個原點和基礎。完成場景地圖構建后，首先進行業務收益評估。業務收益有不同的評估方法，比如這是我們設計的一種方法。這種方法基本上是一個四象限分類法，橫軸表示場景是服務內部還是服務外部，縱軸表示場景屬于當前業務流程或價值的增強，還是屬于價值革新，由此分為四個象限。不同象限的選擇取決于企業在數字化戰略中確定的業務目標和財務目標，這四個象限并沒有核心的優劣之分，并非按照順序排列，而是要根據每個企業自身的情況來確定。例如，在產品價值創新方面，面向外部客戶的智能助理，尤其是能夠幫助客戶進行產品推薦和業務辦理時，就屬于產品價值創新，包括海外正在嘗試的對話式電商也屬于此類。在業務流程重塑方面，更多的是由于大模型的存在，業務流程發生了很大變化。比如產品研發以及AI藥物研發等，基本上都是對過去研發流程的重塑和變革。在第三象限運營效率提升方面，更多的是諸如IT代碼工具以及營銷素材生成等，都屬于提升運營效率的范疇。在第四象限客戶體驗提升方面，類似于客服等都在此范疇。企業可以將第一部分的場景地圖對應到這四個象限中，看看哪個象限更契合自身的業務戰略，從而進行落地。評估完場景價值后，可以將剩下的高價值場景放入技術可行性評估表格中。這個表格的評估維度基本上是絕大部分企業都會關注的一些維度，我們也給出了一些權重，其中最核心的是準確性和數據與知識，這兩個也是整個落地可行性評估中最核心的部分。我們可以舉幾個例子，這是我們在實際服務客戶過程中抽象出來的一張流程圖，也是絕大部分企業在做落地方案規劃以及技術藍圖時核心會涉及的問題。第一個問題就是準確性，以及安全問題，其中核心還是準確性問題。在準確性方面，我們按照這張流程圖選擇了四個核心的準確性點。第一個準確性點是從知識抽取后得到的知識庫，知識庫基本上決定了50%以上的最終準確率。但知識庫并非大家過去理解的文檔，比如很多企業在做知識庫項目時會問，過去大量的產品手冊等文檔是否是一個好的知識庫。這里涉及兩部分問題，第一，如果將產品手冊作為知識庫，其質量并不是特別高。原因在于如果知識庫是這些產品手冊，那么期望得到的回復內容很多時候是依托于產品手冊，但產品手冊對于大部分一線人員來說是正確的廢話，最多只能服務一些初級人員。所以更有價值的知識庫是企業過往積累的案例，案例比產品手冊更高一個維度，有可能幫助到不是那么初級的一線員工，更具價值。因此在知識庫方面，首先，知識庫中的案例質量對于企業用戶來說具有更高的價值度。其次，知識庫的構建方式也很重要，需要像進行數據治理一樣，劃分好主題域，就如同主數據管理以及確定實體和關系邏輯一樣。知識庫的建設有一套標準和方法，可以參考數據建設的標準和方法，而這套建立方式和方法基本上決定了知識庫的最終準確率。因為在大部分問題的意圖被理解后，首先至少要知道在哪個主題域中去尋找答案，而不是在一個完整的、全量的文檔庫中去尋找。所以，知識庫本身的分類、整理和打標簽等工作是另一個影響知識庫質量的重點。第二點是多路召回，現在這個概念被提及得比較多，包括關鍵詞召回、向量召回，以及現在常提到的GraphRAG等，其實也是一種召回方式。多路召回是必須要做好的，而且實現起來難度不高。第三點是相關性排序這個小算法。本質上，相關性排序是一個小模型，這個小模型的算法是影響準確性的關鍵因素之一。即前面通過多路召回拿回的關鍵結果如何進行排序，相關性如何確定，這是核心要點，會影響最終的準確率。為什么我們稱之為端到端的鏈路優化呢？因為相關性排序這個小算法只是其中一個點，在整個鏈路過程中還會有很多其他類似算法的點，甚至包括提示詞工程等。所以，在端到端的鏈路中，有很多細小的節點可以進行調整，這些調優也會影響最后回復的準確性。最后一個是RLHF。很多時候準確率要寄希望于運營上線，實際上，在大部分項目上線一期時，準確率通常在80%左右。但在運營一段時間后，尤其是有反饋機制時，能夠覆蓋很多Corner case 和Bad case，此時準確率才能真正提升到85%甚至90%，這是準確率改善的最后一道防線，也是最有效的一道防線。所以，這是我們在解決絕大部分企業用戶關注的準確率問題時，實際落地需要考量的四個維度。當然，每個企業在自己的項目中，不同的維度點可能不太一樣，需要進一步細化。但抽象出來看，基本上這四個點可以控制最后的準確性問題。04
最后一個要講的點是大模型的推廣，部分企業尤其是央國企已經遇到了這個問題，我們也在一些國企中有了一些落地實踐。但實際上，把大模型三個字去掉，做所有新技術項目的推廣邏輯都是一樣的。所以從方法角度上講，與過去做數據技術、以及傳統AI技術項目落地的邏輯和思路完全一致。今天我主要講述一下方法論和一個相關案例。在方法論方面，主要有以下四步。第一，提高用戶接受度。在做出一個標桿項目后，要提高終端用戶對的滲透率，即提升他們對該項目的接受度。第二，考慮如何進行復制。復制過程中，僅靠做標桿項目的這批人是無法實現的，比如在做標桿項目時，肯定有一套方案，其中涉及實施流程、對方業務部門如何參與以及實施過程中的方法論等。這與供應商服務企業一樣，在企業內部進行復制和推廣時，也需要有一套實施方法。第三，構建大模型項目駕駛艙。企業內部有各種關于經營的駕駛艙，但似乎IT數字化本身沒有駕駛艙。實際上，大模型也有駕駛艙，其中最核心的有三類指標：一類是業務收益，即當初設定的財務目標和業務目標是否實現；另一類是終端用戶反饋，這與第一步中的用戶接受度高度相關；還有一類是比較常用的如Dora等指標，用于衡量研發效率。第四，塑造AI文化。基本上，我們圍繞這四步，在拿到一個標桿項目后，就開始進行推廣準備工作，甚至在標桿項目做之前就著手準備。下面講一個案例。現在一些央國企已經建立了Agent平臺，其出發點是為每個企業內部的員工配備個人Agent，有點類toC的感覺，但實際上是服務企業內部，希望企業內部能有更多創新，貢獻出更多新的Agent供全員使用，甚至對外輸出。這家企業在搭建Agent平臺的過程中有幾個核心點。首先，需要有“雷鋒”。這里的雷鋒主要通過兩種方式產生：一是在前期大量的業務調研中篩選，因為雷鋒不是培養出來的，而是篩選出來的，這個人天生喜歡新技術且是業務專家，才能夠擔當雷鋒這個角色，所以在前期業務調研過程中篩選出這樣的人；二是在后期的員工大賽中，尤其是央企通過紅頭文件組織的員工大賽中，也能篩選出一些有價值的雷鋒。在這個項目中，大概篩選出了幾十個雷鋒，他們進行了大量的培訓分享工作，尤其是在雷鋒所在的業務單元或部門中進行，這樣整體效果會比較好，因為在自己熟悉的部門，大家都是熟人，講起來感同身受，推廣起來也更順暢。最后，一定要有獎勵機制，包括前期員工大賽的獎勵機制以及HR部門設定的晉升獎勵機制。在KPI中設置5%的權重給創新，而Agent等項目都屬于創新的核心KPI點。這個項目是推廣得比較好的一個例子，目前在內部Agen商店里可以看到的組件已經超過100 個，使用過的員工也超過一半多，相比過去推廣BI報表，這個方式速度更快、效果更好、使用效率更高。以上就是今天想和大家分享的大模型在今年的一些落地進展，以及基于過去兩年一些落地項目，而總結的2025年的AI大模型規劃。?
畢業于清華大學及香港中文大學，杭州市金融科技創新項目應用案例專家評委，原投中集團副總裁。十余年金融行業從業經驗，在愛分析媒體平臺發文超過500篇，有很深的行業影響力。
注：點擊左下角“閱讀原文”，領取專家完整版實錄和分享課件。
