以底層數據能力為核心，構建實時指標平臺，助力企業數字化經營

原創愛分析ifenxi 2024-06-03 18:02

30+硬核演講，洞見EDA與CAE前沿｜KDES上海 一站式破解芯片研發全流程痛點，西門子 EDA Forum 2026等你來

現在的數字化經濟時代，企業經營方式在改變，當業務環境變化較大時，對指標平臺的構建和指標數據的實時性要求比較高，今天將從企業使用指標平臺的痛點出發，分享基于StarRocks構建實時指標平臺的建設路徑，以及典型銀行的實踐案例。

分享嘉賓｜石強鏡舟科技華南解決方案負責人

內容已做精簡，如需獲取專家完整版視頻實錄和課件，請掃碼領取。

企業經營方式的變化

當前互聯網人口紅利見頂，競爭加劇，成本不斷上漲，企業發展腳步也開始放緩。如何有效地制定企業的發展方針，確保企業繼續增長，是一個巨大挑戰。

如果企業效率更高，應對市場變化的動作更快，就更容易脫穎而出。這種高效決策的前提條件是需要有強大的數據支撐。依靠數據做決策才可以幫助企業突破發展停滯的局面，形成企業的核心競爭力。因此，數字化對于企業來說是戰略級的能力。

過去的人口資本紅利，帶來的是一種愿望式、粗放式的決策方式。很多傳統企業的決策方式更多依賴于個人自身的經驗。比如“我認為市場會怎么樣？”“我認為受眾會喜歡什么樣的產品？”

基于自身的主觀經驗對行業的理解做出的決策，大部分更像是一種賭博行為。因為人的思考或者人的決策不一定是準確的，一旦對市場的判斷失誤，很有可能把整個企業拖入泥潭。

以前的企業運營和經營是分開的。執行運營動作后，得到的數據再向上反饋存在很長的時間延遲，而且所有數據來源對上層人員來說是不透明的，不清楚數據的來源。

在當前數字化時代，運營為企業經營決策提供數據支持，以數據作為企業決策的理論依據，可以實現決策的標準化，確保決策有跡可循。真正擺脫了“沒有決策，數字化是空洞的；脫離了數字化，決策是盲目的”。

數字化輔助決策是大勢所趨。指標平臺通過數據驅動的方式支持企業在各個業務環節中的優化和創新，可以幫助企業快速構建整個數據驅動運營和決策的能力，提升決策的科學性和效率，從而提升企業應對市場變化的響應速度。這是企業實現數字化運營的關鍵工具和基礎設施。

指標平臺的代際演進可以分為三個階段。

首先是以傳統的關系型數據庫為主，通過生成固定報表進行業務的靜態分析。

隨著業務的擴展和數據量的增長，企業對指標的靈活性和數據規模提出了更高要求。傳統的關系型數據庫難以滿足業務需求，企業開始進入OLAP分析階段。

隨著業務需求的變化，企業需要進行多維分析或預計算，這時會引入一些數據化產品。然而，隨著引入產品的增加，整個分析層架構會變得越來越復雜，數據存儲在多個產品中，很容易導致數據口徑不一致的問題，甚至形成數據孤島。

上述問題引出了統一數據源的需求，以實現整個數據口徑的一致性，因此數據湖的概念應運而生。因此，第三個階段是智能化+數據湖倉階段，將智能數據湖倉作為指標平臺的數據基礎。

大多數指標平臺實際上處于第二個階段。在這個階段，存在哪些痛點呢？

第一個問題是指標追溯困難。許多指標的計算，尤其是多層次或派生指標的計算，計算鏈路過長且復雜。一旦出現問題，很難確定出現問題的具體環節，導致溯源成本極高。

第二個問題是指標口徑不一致。不同部門或團隊之間數據孤立，當數據存儲在多個產品中時，無法確定使用的是哪個產品的數據，最終導致數據口徑不一致。

第三個問題是用戶體驗差。如果底層數據基礎設施性能不佳，將直接影響上層指標計算和分析的速度，使使用體驗變慢。

第四個問題是高運維成本。一個指標平臺可能需要維護多個數據產品，同時運維成本較高，且整個指標的開發周期長，建設成本也高。

第五個問題是分析效率低下以及數據治理問題。

了解了指標平臺的典型痛點，就能明白優秀的指標平臺應具備哪些能力。我們認為好的指標平臺應該具備以下8個核心能力：

極速分析
架構簡潔
運維簡單
大數據量下復雜查詢跑批能力
指標定義便捷管理能力
指標可視化能力
指標口徑統一能力
實時監控與預警能力

以底層數據能力為核心的指標平臺建設方案

優秀的指標平臺離不開底層數據庫建設，鏡舟科技基于開源產品StarRocks的核心能力構建指標平臺解決方案，為上層數據消費、應用打好數據基礎。

首先，向量化、CBO優化器、Pipeline、Runtime Filter等核心能力為用戶帶來了極致的查詢體驗。通過這些技術，用戶可以享受到自動化運行，無需承擔過多學習成本，直接開箱即用，將整個數據庫性能發揮到90%以上，而用戶幾乎感受不到這些背后的技術細節。

其次，StarRocks具有豐富的監控指標，結合Grafana + Prometheus能夠快速構建可視化監控平臺。在此基礎上，StarRocks企業版產品“鏡舟分析型數據庫”提供了可視化的運維管理平臺，使用者進行監控管理和運維變得更加便捷。即使是新手員工，在經過短短一個小時的熟悉后，就能夠操作數據庫產品，進行界面化集群部署、節點的上下線、集群擴縮容、慢查詢分析等操作。

此外，Spill-Down技術可以提升大規模數據量復雜查詢的穩定性，突破內存空間的限制。通過Spill-Down，系統能夠更有效地處理大量數據和復雜查詢，確保查詢的穩定性和性能。

另外，Multi-Warehouse功能可以實現多租戶的資源管理。在不同業務方使用指標平臺時，可能存在作業量大、并發度高的情況，這可能導致資源搶占現象，對底層數據庫的資源隔離提出更高要求。

如果資源隔離效果不佳，可能會影響整個查詢的穩定性。有些作業可能并不重要，卻占用了大量資源，而一些高優先級的作業（比如領導駕駛艙等）卻無法獲得足夠的資源。Multi-Warehouse功能能夠完美解決這類問題，有效管理多個租戶之間的資源分配，提高系統的資源利用效率。

最后，存算分離和湖倉分析等技術能夠解決存儲和分析之間的問題，降低運維成本。通過存算分離，系統可以更好地管理存儲和計算資源，提高系統的靈活性和性能。湖倉分析則可以有效整合和分析數據湖中的數據，為企業提供更深入的數據洞察和決策支持，同時降低運維成本。

基于StarRocks構建指標平臺的建設方案分為4個環節：

1. 需求分析階段和指標定義階段：

調研現有業務情況，明確指標平臺的目標和范圍。

2. 數據建模和數據準備：

在StarRocks中利用不同的數據類型構建相應的數據表。
通過物化視圖收集、清洗數據，建立數據倉庫，為后續數據分析應用提供更好的數據支持。

3. 權限管理和數據分析：

對敏感數據進行權限管理，確保數據安全。
進行數據分析和可視化，為用戶提供直觀的數據展示和分析結果。

4. 業務場景實時監控和持續優化：

實時監控業務場景，及時發現問題并進行處理。
對指標平臺進行持續優化，根據用戶反饋不斷迭代更新，完善平臺功能。

這個建設方案將有助于構建一個基于StarRocks的高效指標平臺，為企業提供強大的數據分析和決策支持。

在這個指標平臺方案中，將StarRocks作為底層的存儲和計算引擎，構建了數據處理層，包括數據準備、數據模型建立，利用指標平臺的計算引擎進行指標開發工作，并最終進行指標管理，為上層業務應用層提供數據支持。

該指標平臺方案的優勢包括：

1.實時業務感知和快速反應：能夠及時讓業務感知用戶行為，并快速做出反應。

2.數據準確性和運維效率：數據準確度更高，架構簡潔，便于快速運維，降低整個數據使用成本。

3.數據治理和一體化能力：方便進行數據治理，具有湖倉一體化能力，以StarRocks作為底層存儲和計算引擎，確保數據源統一，數據架構統一，為數據治理提供良好的數據環境。

4.兼容性和低成本：StarRocks兼容MySQL語義，降低了使用門檻和業務遷移成本，快速實現數據底座搭建和指標平臺建設。

某股份制商業銀行指標平臺案例分享

鏡舟科技作為StarRocks的核心商業化團隊，基于StarRocks打造企業級產品鏡舟湖倉分析引擎，并在企業業務中落地實踐，取得成效。

某股份制商業銀行自建的指標平臺為業務部門提供了指標管理和指標應用的能力，用戶可以在平臺上進行指標的錄入、發布、派生、分享、可視化應用以及深度分析等操作。

通過指標平臺的建設，該銀行收獲如下：

降低數據開發和使用成本：在指標平臺出現之前，指標的管理、研發和應用是分離的，這個平臺改變了數據研發人員的開發模式以及業務用戶使用數據的模式，大大降低了數據開發和使用的成本。

提升數據應用效率：平臺讓管理、研發和應用整合在一起，讓原本分離的管研用轉向了管研用一體，提高了數據的應用效率。

有架構在應對業務增長和指標復雜度上存在瓶頸，需要進行底層架構的升級以提升性能、降低成本以及提高運維效率：

1. Cube構建速度慢，性能消耗大，導致一些指標計算需要花費長達1小時的時間。

2. 大量指標無法命中，導致下壓到Presto的并發壓力大，而Presto的并發性能和大規模數據查詢性能較差。

3. 查詢數據時需要進行關聯操作，但Kylin的多維join支持不佳，性能不足，且需要額外的開發成本。

4. 運維成本高，維護多種組件的難度較大。

鏡舟科技針對該銀行的需求痛點，設計了指標平臺的升級建設方案：

在指標平臺的應用場景中，可以針對指標進行分層。在物理層，數據工程師可以基于業務和數據建模的理解，對事實表、維度表以及對象構建整個物理層的ER關系，定義表之間的關系，為上層業務提供數據的基礎模型支持。

在邏輯層面，指標平臺可以基于數據工程師定義的模型，將整個對象拉成一張寬表。例如，將客戶對象生成一張全行超寬表，簡化業務分析工作，對對象的維度目錄和指標目錄進行了簡化。

業務人員無需理解底層復雜的ER關系，只需通過拖拽操作進行維度和指標的關聯。這樣，在邏輯層面上，指標平臺為用戶提供了極大的便利性，他們無需關注底層技術原理，只需關心業務邏輯。

在應用層面，根據用戶定義的場景和查詢行為，構建指標物化的DWS層，以加速用戶查詢性能。未來可以根據用戶的查詢行為優化整個DWS的物化邏輯。DataAPI可以提供毫秒級查詢，報表可以提供秒級查詢，自助分析可以提供幾十秒級的查詢。這樣的設計使得用戶可以根據不同需求選擇不同的查詢方式，從而提高查詢效率和用戶體驗。