伴隨近年來(lái)新能源汽車(chē)在全球范圍內(nèi)的銷(xiāo)量劇增，處于新能源汽車(chē)產(chǎn)業(yè)鏈重要位置的國(guó)內(nèi)某頭部制造企業(yè)也迎來(lái)了業(yè)務(wù)的快速發(fā)展。為了提高產(chǎn)能，并降本增效，該企業(yè)需要不斷加強(qiáng)數(shù)字化建設(shè)，以支撐全球產(chǎn)品溯源追蹤、生產(chǎn)及售后運(yùn)營(yíng)分析、設(shè)備預(yù)測(cè)性維護(hù)等多項(xiàng)業(yè)務(wù)。
然而，隨著該企業(yè)業(yè)務(wù)規(guī)模的迅速擴(kuò)張，其需要處理的數(shù)據(jù)規(guī)模急劇膨脹，數(shù)據(jù)類(lèi)型也比以往更加復(fù)雜，導(dǎo)致該企業(yè)原先基于 MySQL、Greenplum 構(gòu)建的數(shù)據(jù)庫(kù)系統(tǒng)面臨顯著的性能和功能瓶頸，也給該企業(yè)的業(yè)務(wù)開(kāi)展帶來(lái)以下挑戰(zhàn):
1) 原有數(shù)倉(cāng)集群遭遇性能瓶頸，維護(hù)擴(kuò)容復(fù)雜，難以應(yīng)對(duì)業(yè)務(wù)快速增長(zhǎng)需求。隨著業(yè)務(wù)的快速擴(kuò)張，企業(yè)的數(shù)據(jù)規(guī)模開(kāi)始快速增長(zhǎng)，原有集群的 CPU 使用率長(zhǎng)期維持高位運(yùn)行，導(dǎo)致計(jì)算和查詢(xún)作業(yè)長(zhǎng)時(shí)間排隊(duì)，致使業(yè)務(wù)間歇性卡頓，部分大型報(bào)表的等待時(shí)間甚至超過(guò)30分鐘，嚴(yán)重影響了業(yè)務(wù)的運(yùn)行效率和使用體驗(yàn)。另一方面，原有數(shù)倉(cāng)平臺(tái)的擴(kuò)容也需要伴隨較長(zhǎng)時(shí)間的停機(jī)等待，此外也不支持?jǐn)?shù)據(jù)的分層存儲(chǔ)管理，為應(yīng)對(duì)業(yè)務(wù)增長(zhǎng)，原平臺(tái)就需要不斷進(jìn)行擴(kuò)容，但這種做法在時(shí)間和人力等成本層面都不可持續(xù)。2) 智能制造亟待擴(kuò)充復(fù)雜時(shí)序處理及分析能力。該企業(yè)作為大型制造業(yè)集團(tuán)，為滿(mǎn)足業(yè)務(wù)增長(zhǎng)需要，也在積極探索智能制造的轉(zhuǎn)型創(chuàng)新，而首要的是對(duì)生產(chǎn)裝備進(jìn)行數(shù)字化升級(jí)，這帶來(lái)廣泛的 IoT 場(chǎng)景需求。在其整體數(shù)據(jù)結(jié)構(gòu)中，除了由常見(jiàn)的 MES、ERP 系統(tǒng)所產(chǎn)生的關(guān)系型數(shù)據(jù)，還有由數(shù)采單元面向設(shè)備、物料和流程采集到的時(shí)序、GIS 等類(lèi)型數(shù)據(jù)，比如涵蓋近百個(gè)指標(biāo)的生產(chǎn)制造設(shè)備工況數(shù)據(jù)、已售出產(chǎn)品的運(yùn)行數(shù)據(jù)以及歷史維修數(shù)據(jù)等。目前架構(gòu)中是通過(guò) MySQL 和 Greenplum 來(lái)承載時(shí)序數(shù)據(jù)，但 MySQL 及 Greenplum 并不具備專(zhuān)門(mén)針對(duì)時(shí)序場(chǎng)景的強(qiáng)化特性及功能，數(shù)據(jù)承載力和查詢(xún)能力都十分有限:寫(xiě)入性能:無(wú)法承載超大設(shè)備帶來(lái)的海量數(shù)據(jù)寫(xiě)入負(fù)載;
寫(xiě)入功能:無(wú)法支持動(dòng)態(tài)、亂序、延遲寫(xiě)入，難以適應(yīng)復(fù)雜工況下的數(shù)據(jù)生產(chǎn)環(huán)境；
查詢(xún)能力:點(diǎn)查詢(xún)性能有限，沒(méi)有窗口查詢(xún)、庫(kù)內(nèi)機(jī)器學(xué)習(xí)等能力。
3) 數(shù)據(jù)量倍數(shù)增長(zhǎng)，總部中心集群負(fù)載壓力大目前，該企業(yè)集團(tuán)在全國(guó)擁有數(shù)十家分支生產(chǎn)基地，每個(gè)生產(chǎn)基地的產(chǎn)線系統(tǒng)都需要高性能及可靠穩(wěn)定的數(shù)據(jù)管理系統(tǒng)。面向未來(lái)，預(yù)期整個(gè)集團(tuán)將持續(xù)以倍數(shù)級(jí)擴(kuò)充產(chǎn)能，產(chǎn)線數(shù)據(jù)量將翻倍增長(zhǎng)，對(duì)數(shù)據(jù)管理的承載力、效率、成本和易用性都提出了更高標(biāo)準(zhǔn)。目前所有數(shù)據(jù)直接進(jìn)入總部，對(duì)總部集群造成很大負(fù)載壓力。除了持續(xù)擴(kuò)容外，在不增加太多運(yùn)維復(fù)雜度的基礎(chǔ)上，客戶(hù)迫切希望建立一套總分結(jié)合的“總部(云) +工廠 (邊)” 協(xié)同架構(gòu)，在增強(qiáng)整體數(shù)據(jù)承載能力的同時(shí)，也優(yōu)化各子公司的數(shù)據(jù)平臺(tái)能力，實(shí)現(xiàn)對(duì)整體數(shù)據(jù)管理與治理能力的升級(jí)。01?基于超融合數(shù)據(jù)庫(kù)，實(shí)現(xiàn)一套系統(tǒng)滿(mǎn)足企業(yè)多種類(lèi)型數(shù)據(jù)存儲(chǔ)與處理需求為了滿(mǎn)足對(duì)大規(guī)模、多源異構(gòu)數(shù)據(jù)的存儲(chǔ)與處理需求，該企業(yè)需要引入新的數(shù)據(jù)基座來(lái)替換原先的 MySQL、Greenplum 數(shù)據(jù)庫(kù)。在此過(guò)程中，該企業(yè)考慮過(guò)Hadoop 技術(shù)棧，但基于 Hadoop 技術(shù)棧滿(mǎn)足業(yè)務(wù)需求需要同時(shí)構(gòu)建非常復(fù)雜的開(kāi)發(fā)和運(yùn)維體系，成本過(guò)高。由于 YMatrix 超融合數(shù)據(jù)庫(kù)具備高性能、支持多種數(shù)據(jù)類(lèi)型、運(yùn)維簡(jiǎn)單等優(yōu)勢(shì)，便成為了該企業(yè)的的最終選擇。YMatrix 成立于 2020 年，是一家創(chuàng)新型基礎(chǔ)軟件公司，致力于物聯(lián)網(wǎng)時(shí)代新一代數(shù)據(jù)基礎(chǔ)設(shè)施軟件的研發(fā)，并提供相關(guān)產(chǎn)品、解決方案及一站式商業(yè)服務(wù)。公司在業(yè)界率先提出超融合數(shù)據(jù)庫(kù)理念，并發(fā)布了 YMatrix 超融合數(shù)據(jù)庫(kù)，基于獨(dú)創(chuàng)的多微內(nèi)核開(kāi)放架構(gòu)，在單一數(shù)據(jù)庫(kù)之上，實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的融通管理，及全場(chǎng)景查詢(xún)分析的統(tǒng)一支持。YMatrix 超融合數(shù)據(jù)庫(kù)可面向物聯(lián)網(wǎng)應(yīng)用、金融、工業(yè)互聯(lián)網(wǎng)、智能運(yùn)維、智慧城市、智能家居、車(chē)聯(lián)網(wǎng)等場(chǎng)景，提供架構(gòu)簡(jiǎn)潔、功能豐富的數(shù)據(jù)基礎(chǔ)設(shè)施，并已在多家行業(yè)頭部公司成功實(shí)現(xiàn)商業(yè)化落地。圖1：某新能源頭部制造企業(yè)基于超融合數(shù)據(jù)庫(kù)打造的“數(shù)據(jù)湖倉(cāng)平臺(tái)”YMatrix 超融合數(shù)據(jù)庫(kù)在該企業(yè)內(nèi)替代了原先的 MySQL、Greenplum 等數(shù)據(jù)庫(kù),在支持多種類(lèi)型數(shù)據(jù)的存儲(chǔ)、匯集與管理的同時(shí)，通過(guò)全面的功能承接了各類(lèi)業(yè)務(wù)需求。具體而言，YMatrix 超融合數(shù)據(jù)庫(kù)的以下功能特性解決了該企業(yè)此前存在的各種問(wèn)題:1)支持多種數(shù)據(jù)。由 YMatrix 超融合數(shù)據(jù)庫(kù)承建數(shù)據(jù)湖倉(cāng)平臺(tái)，對(duì)接產(chǎn)線 MES系統(tǒng)、ERP 系統(tǒng)及各類(lèi)型生產(chǎn)設(shè)備數(shù)采系統(tǒng)等，將 TP 業(yè)務(wù)數(shù)據(jù)、時(shí)序數(shù)據(jù)、GIS 數(shù)據(jù)、JSON 文本數(shù)據(jù)，以及過(guò)去的歷史數(shù)據(jù)等等多種數(shù)據(jù)，統(tǒng)一進(jìn)行寫(xiě)入、存儲(chǔ)、管理，支持?jǐn)?shù)據(jù)亂序、延遲寫(xiě)入，支持 ACID 以確保數(shù)據(jù)完整性，2)提供統(tǒng)一的查詢(xún)。YMatrix 超融合數(shù)據(jù)庫(kù)通過(guò)標(biāo)準(zhǔn)SQL提供多類(lèi)型數(shù)據(jù)查詢(xún)，在數(shù)據(jù)湖內(nèi)實(shí)現(xiàn)數(shù)據(jù)的跨類(lèi)型聯(lián)合分析，而無(wú)需再并行建設(shè)專(zhuān)門(mén)的技術(shù)棧;3)支持庫(kù)內(nèi)機(jī)器學(xué)習(xí)。YMatrix 超融合數(shù)據(jù)庫(kù)支持庫(kù)內(nèi)機(jī)器學(xué)習(xí)建模，可代替 Flink+Spark，使算法建模及計(jì)算在 YMatrix集群內(nèi)實(shí)現(xiàn)，無(wú)需大規(guī)模的數(shù)據(jù) ETL 過(guò)程，大幅簡(jiǎn)化系統(tǒng)架構(gòu)，且性能大幅提升，算法分析工作效率提升 10 倍;4)較高的查詢(xún)性能。YMatrix 超融合數(shù)據(jù)庫(kù)針對(duì)寫(xiě)入和分析等重點(diǎn)領(lǐng)域進(jìn)行了多達(dá) 138 項(xiàng)深度的指令級(jí)的優(yōu)化，能夠在單表查詢(xún)、多表關(guān)聯(lián)分析、時(shí)序數(shù)據(jù)查詢(xún)等常用場(chǎng)景上獲得比主流專(zhuān)用數(shù)據(jù)庫(kù)更高的性能。5)簡(jiǎn)化運(yùn)維。YMatrix 超融合數(shù)據(jù)庫(kù)技術(shù)架構(gòu)簡(jiǎn)化靈活，一套數(shù)據(jù)庫(kù)體系可適用多種業(yè)務(wù)場(chǎng)景，運(yùn)維人員需要管理的技術(shù)棧變少，因此從根源上降低了其運(yùn)維復(fù)雜度。同時(shí)，YMatrix 超融合數(shù)據(jù)庫(kù)提供大量圖形化及自動(dòng)化的運(yùn)維能力，包括: 在線擴(kuò)容、自動(dòng)數(shù)據(jù)平衡、數(shù)據(jù)生命周期管理、運(yùn)維監(jiān)控等，幫助用戶(hù)降低操作門(mén)檻、獲得更好的使用體驗(yàn)以及更加自動(dòng)化的作業(yè)能力。此外，為了降低總部中心集群負(fù)載壓力，YMatrix 為該企業(yè)建設(shè)了邊緣數(shù)倉(cāng)，即在分支工廠部署獨(dú)立數(shù)倉(cāng)平臺(tái)，承載工廠的 MES、ERP、PLM 等各系統(tǒng)數(shù)據(jù)，完成這些生產(chǎn)數(shù)據(jù)在本級(jí)的數(shù)據(jù)歸集，同時(shí)進(jìn)行預(yù)處理查詢(xún)分析，篩選出符合總部需要的數(shù)據(jù)后再上傳總部集群。新構(gòu)建的“總部(云) + 工廠（邊）”協(xié)同架構(gòu)，在強(qiáng)化本地?cái)?shù)據(jù)就近處理的能力之上，有效降低了集團(tuán)集群的負(fù)載，為后期業(yè)務(wù)的長(zhǎng)期穩(wěn)定運(yùn)行及良性擴(kuò)展奠定架構(gòu)基礎(chǔ)。02?超融合數(shù)據(jù)庫(kù)落地后的價(jià)值與效果第一，性能大幅提升，為應(yīng)對(duì)業(yè)務(wù)量大規(guī)模擴(kuò)張奠定基礎(chǔ)。在使用 YMatrix 超融合數(shù)據(jù)庫(kù)后，該企業(yè)解決了原有集群性能不足、擴(kuò)容服務(wù)器耗時(shí)長(zhǎng)、報(bào)表查詢(xún)等待過(guò)久等各項(xiàng)問(wèn)題，查詢(xún)耗時(shí)最高縮短79%，為平臺(tái)支撐的各項(xiàng)業(yè)務(wù)服務(wù)體驗(yàn)提供充沛的性能支持。第二，為數(shù)智化創(chuàng)新提供新一代通用數(shù)據(jù)基座，并提供更友好的使用體驗(yàn)，大幅降低運(yùn)維復(fù)雜度。通過(guò)YMatrix 超融合數(shù)據(jù)庫(kù)，支持多模態(tài)數(shù)據(jù)的全場(chǎng)景查詢(xún)分析需求，能夠服務(wù)企業(yè)級(jí)用戶(hù)未來(lái) 5-10 年可能存在的需求，幫助該企業(yè)避免了產(chǎn)品疊加或技術(shù)架構(gòu)反復(fù)調(diào)整帶來(lái)的技術(shù)風(fēng)險(xiǎn)和不必要成本。同時(shí)，YMatrix 超融合數(shù)據(jù)庫(kù)通過(guò)數(shù)據(jù)超融合能力大幅精簡(jiǎn)了系統(tǒng)架構(gòu)，并供大量圖形化及自動(dòng)化的運(yùn)維能力，從而降低了數(shù)據(jù)庫(kù)的運(yùn)維復(fù)雜度，讓用戶(hù)工作更加專(zhuān)注，作業(yè)更加高效。第三， 數(shù)據(jù)管理成本獲得有效控制，同時(shí)降低總部集群的壓力。YMatrix 超融合數(shù)據(jù)庫(kù)在為大數(shù)據(jù)平臺(tái)帶來(lái)了上述優(yōu)化與新功能的同時(shí)，在保證性能滿(mǎn)足需求的前提下，使得該企業(yè)每年在資源上的成本開(kāi)銷(xiāo)減少了至少30%。同時(shí)，通過(guò)搭建更科學(xué)經(jīng)濟(jì)的“總部(云) +工廠 (邊) ”協(xié)同架構(gòu)，減少數(shù)據(jù)傳輸成本的同時(shí)，降低因組織結(jié)構(gòu)龐大、產(chǎn)能持續(xù)壯大給總部集群帶來(lái)的壓力。03?項(xiàng)目經(jīng)驗(yàn)總結(jié)當(dāng)前，中國(guó)正在從“制造大國(guó)”向“制造強(qiáng)國(guó)”轉(zhuǎn)型，與此同時(shí)，一批代表著戰(zhàn)略新興行業(yè)方向的制造業(yè)企業(yè)在市場(chǎng)需求以及政策推動(dòng)下，正處在高速發(fā)展過(guò)程中。為了實(shí)現(xiàn)這樣的目標(biāo)，數(shù)智化在其中將會(huì)起到關(guān)鍵支撐作用。我們認(rèn)為，上述新能源頭部制造企業(yè)與 YMatrix 合作的案例，可以為同樣處于快速發(fā)展階段的制造業(yè)企業(yè)帶來(lái)以下借鑒意義:第一，數(shù)據(jù)基座的選型需要超前考慮中長(zhǎng)期的業(yè)務(wù)發(fā)展需求。隨著企業(yè)業(yè)務(wù)的快速發(fā)展，企業(yè)內(nèi)部數(shù)據(jù)量必然迅速增長(zhǎng)，數(shù)據(jù)類(lèi)型也將變得更加復(fù)雜。由于數(shù)據(jù)庫(kù)等基礎(chǔ)設(shè)施的遷移是項(xiàng)成本非常高昂的工作，企業(yè)在選型時(shí)需要充分評(píng)估未來(lái) 5-10 年的業(yè)務(wù)需求，選擇能夠應(yīng)對(duì)中長(zhǎng)期數(shù)據(jù)存儲(chǔ)和處理需求的數(shù)據(jù)基座。第二，為避免傳統(tǒng)方案復(fù)雜的開(kāi)發(fā)和運(yùn)維，企業(yè)可以考慮創(chuàng)新性的超融合數(shù)據(jù)庫(kù)。盡管市場(chǎng)上存在一些如 Hadoop 等大數(shù)據(jù)方案能夠滿(mǎn)足企業(yè)各類(lèi)復(fù)雜的數(shù)據(jù)存儲(chǔ)和處理需求，但面對(duì)企業(yè)復(fù)雜的需求，其開(kāi)發(fā)和運(yùn)維的過(guò)程也非常繁瑣。超融合數(shù)據(jù)庫(kù)在簡(jiǎn)化系統(tǒng)架構(gòu)的同時(shí)，具備支持多種數(shù)據(jù)類(lèi)型、性能高、運(yùn)維簡(jiǎn)單等優(yōu)勢(shì)，是處于快速發(fā)展階段的企業(yè)非常理想的選擇。注：點(diǎn)擊左下角“閱讀原文”，前往愛(ài)分析官網(wǎng)了解更多內(nèi)容。
