柏睿數(shù)據(jù)：構(gòu)建某國(guó)有商業(yè)銀行實(shí)時(shí)交互式數(shù)據(jù)分析平臺(tái)，高效助力普惠金融業(yè)務(wù)|愛(ài)分析案例研究

原創(chuàng) 愛(ài)分析ifenxi 2022-12-28 08:00

一杯咖啡的時(shí)間，搞懂行波測(cè)距新趨勢(shì) 一站式破解芯片研發(fā)全流程痛點(diǎn)，西門子 EDA Forum 2026等你來(lái)

在銀行數(shù)字化轉(zhuǎn)型的過(guò)程中，客戶分析和精細(xì)化管理至關(guān)重要。在普惠金融業(yè)務(wù)中，如何對(duì)下沉的海量客戶建立數(shù)字普惠全景視圖，實(shí)現(xiàn)經(jīng)營(yíng)狀況及資產(chǎn)質(zhì)量分析、客戶分析、產(chǎn)品分析、營(yíng)銷分析等交互式數(shù)據(jù)分析能力，對(duì)于銀行普惠金融業(yè)務(wù)的開(kāi)展起到了關(guān)鍵支撐作用。

某國(guó)有大型商業(yè)銀行充分利用征信、工商、納稅、電力、司法、結(jié)算、供應(yīng)鏈、政務(wù)、采購(gòu)平臺(tái)、貸款信息等行內(nèi)外數(shù)據(jù)，將風(fēng)險(xiǎn)指標(biāo)融入客戶多維畫(huà)像信息，建立普惠金融營(yíng)銷、準(zhǔn)入、信用評(píng)價(jià)、授信、定價(jià)、貸后監(jiān)測(cè)預(yù)警、催收等分析模型，實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)指標(biāo)實(shí)時(shí)報(bào)送，提供交互式數(shù)據(jù)分析。該平臺(tái)對(duì)底層數(shù)據(jù)基礎(chǔ)設(shè)施的實(shí)時(shí)性、高并發(fā)、穩(wěn)定性和可用性等能力都提出了更高的要求。具體而言，需要解決以下需求：

1）海量異構(gòu)數(shù)據(jù)的實(shí)時(shí)查詢。面對(duì)多樣復(fù)雜的客戶畫(huà)像數(shù)據(jù)，數(shù)據(jù)庫(kù)作為支撐業(yè)務(wù)用戶日常在線使用的系統(tǒng)，需要能夠執(zhí)行行內(nèi)超過(guò)200個(gè)以上標(biāo)簽動(dòng)態(tài)組合以及5張表以上任意條件篩選和組合的復(fù)雜查詢，達(dá)到秒級(jí)響應(yīng)時(shí)間；

2）支撐高并發(fā)業(yè)務(wù)查詢場(chǎng)景。該銀行總共有5萬(wàn)多位客戶經(jīng)理提供日常對(duì)公和對(duì)私的業(yè)務(wù)服務(wù)，會(huì)不免出現(xiàn)同時(shí)間下的多點(diǎn)數(shù)據(jù)查詢需求。因此，數(shù)據(jù)庫(kù)要能夠在高并發(fā)場(chǎng)景下及時(shí)響應(yīng)來(lái)滿足精準(zhǔn)營(yíng)銷和信貸風(fēng)控的業(yè)務(wù)需要；

3）能夠穩(wěn)定可靠地對(duì)外提供數(shù)據(jù)服務(wù)，滿足系統(tǒng)可用性級(jí)別要求。金融行業(yè)對(duì)數(shù)據(jù)一致性、系統(tǒng)的RPO和RTO指標(biāo)、多數(shù)據(jù)中心等方面有嚴(yán)苛的要求，要保證數(shù)據(jù)不錯(cuò)不漏、故障無(wú)損快速切換，提供多數(shù)據(jù)中心備災(zāi)措施等。

01?

基于分布式全內(nèi)存數(shù)據(jù)庫(kù)RapidsDB構(gòu)建數(shù)據(jù)分析平臺(tái)

為了滿足以上性能及業(yè)務(wù)需求，該銀行將借助分布式內(nèi)存計(jì)算技術(shù)提升數(shù)據(jù)庫(kù)分析性能，作為重點(diǎn)考察方向。柏睿數(shù)據(jù)分布式全內(nèi)存數(shù)據(jù)庫(kù)RapidsDB在快速部署、集群彈性、性能線性擴(kuò)展、廣泛兼容、異構(gòu)數(shù)據(jù)支持、海量數(shù)據(jù)計(jì)算等多方面獲得行方的高度肯定，從而在行方同類數(shù)據(jù)庫(kù)產(chǎn)品選型中脫穎而出。

柏睿數(shù)據(jù)成立于 2014 年，是一家以數(shù)據(jù)庫(kù)為核心的“Data+AI〞數(shù)據(jù)智能基礎(chǔ)軟件公司，國(guó)內(nèi)首家因突破數(shù)據(jù)庫(kù)核心技術(shù)而獲得國(guó)家級(jí)專精特新“小巨人”稱號(hào)的民營(yíng)企業(yè)。柏睿數(shù)據(jù)作為國(guó)內(nèi)掌握全內(nèi)存數(shù)據(jù)庫(kù)引擎關(guān)鍵專利的企業(yè)，基于完全自主研發(fā)的全內(nèi)存分布式數(shù)據(jù)庫(kù)產(chǎn)品體系和人工智能產(chǎn)品體系，打造軟硬一體化智能數(shù)據(jù)處理平臺(tái)，其產(chǎn)品在算力性能、智能化、安全性、標(biāo)準(zhǔn)化等關(guān)鍵技術(shù)指標(biāo)上均業(yè)界領(lǐng)先，已為金融、政務(wù)、能源、通信、醫(yī)療等眾多行業(yè)標(biāo)桿客戶提供原創(chuàng)性數(shù)字化轉(zhuǎn)型技術(shù)產(chǎn)品服務(wù)。

圖：基于分布式全內(nèi)存數(shù)據(jù)庫(kù)RapidsDB構(gòu)建的實(shí)時(shí)交互式數(shù)據(jù)分析平臺(tái)

柏睿分布式全內(nèi)存數(shù)據(jù)庫(kù)RapidsDB在該行的普惠金融業(yè)務(wù)場(chǎng)景中代替了原有的“Oracle + ElasticSearch”復(fù)雜技術(shù)棧，實(shí)現(xiàn)極速性能提升，而且保證了金融級(jí)別的穩(wěn)定可靠和高可用性。

為了解決海量用戶數(shù)據(jù)實(shí)時(shí)查詢的性能問(wèn)題，RapidsDB采用全內(nèi)存架構(gòu)避開(kāi)了磁盤(pán)訪問(wèn)I/O，達(dá)到更快的查詢速度；在多表關(guān)聯(lián)場(chǎng)景下，柏睿通過(guò)動(dòng)態(tài)查詢優(yōu)化、索引使用優(yōu)化、join連接優(yōu)化實(shí)現(xiàn)了多表關(guān)聯(lián)場(chǎng)景中更強(qiáng)的性能表現(xiàn)，達(dá)到復(fù)雜查詢的即時(shí)響應(yīng)能力。

為了支撐上萬(wàn)名業(yè)務(wù)經(jīng)理高并發(fā)的查詢需求。RapidsDB采用分布式架構(gòu)，通過(guò)動(dòng)態(tài)擴(kuò)展應(yīng)對(duì)任務(wù)執(zhí)行量的增長(zhǎng)，并且配合查詢優(yōu)化器均衡分配節(jié)點(diǎn)負(fù)載。同時(shí)，RapidsDB通過(guò)數(shù)據(jù)結(jié)構(gòu)無(wú)鎖化實(shí)現(xiàn)了最大程度的并發(fā)能力。

針對(duì)金融級(jí)數(shù)據(jù)可靠性和可用性的要求，首先，RapidsDB在內(nèi)存存儲(chǔ)之外還通過(guò)事務(wù)日志和定期快照不斷地將數(shù)據(jù)備份到磁盤(pán)，實(shí)現(xiàn)數(shù)據(jù)庫(kù)內(nèi)存與持久化存儲(chǔ)，如Flash、SSD、HD等，協(xié)同工作來(lái)確保數(shù)據(jù)無(wú)丟失風(fēng)險(xiǎn)。其次，在集群內(nèi)部可用性方面，數(shù)據(jù)節(jié)點(diǎn)通過(guò)成對(duì)的配置在彼此之間共享數(shù)據(jù)副本，保持?jǐn)?shù)據(jù)實(shí)時(shí)同步。主備節(jié)點(diǎn)均可對(duì)外提供服務(wù)，如果出現(xiàn)任何葉的故障，RapidsDB將自動(dòng)切換副本分區(qū)。在節(jié)點(diǎn)出現(xiàn)故障的情況下，RapidsDB通過(guò)將適當(dāng)?shù)母北痉謪^(qū)升級(jí)為主分區(qū)來(lái)轉(zhuǎn)移節(jié)點(diǎn)故障，以便數(shù)據(jù)庫(kù)保持在線。在滿足集群內(nèi)高可用的基礎(chǔ)上，RapidsDB還實(shí)現(xiàn)了跨機(jī)房數(shù)據(jù)和系統(tǒng)服務(wù)的高可用，支持“同城雙中心”、“兩地三中心”、“三地五中心”等金融級(jí)別的災(zāi)備方案，在系統(tǒng)本身發(fā)生故障、應(yīng)用層報(bào)錯(cuò)、網(wǎng)絡(luò)錯(cuò)誤、人為錯(cuò)誤等情形下，數(shù)據(jù)庫(kù)系統(tǒng)均能保障良好的高可用性。

02?

基于RapidsDB數(shù)據(jù)庫(kù)的數(shù)據(jù)分析平臺(tái)落地后的價(jià)值與效果

第一，通過(guò)RapidsDB在大規(guī)模異構(gòu)數(shù)據(jù)場(chǎng)景下的高性能表現(xiàn)，滿足了該銀行對(duì)多表關(guān)聯(lián)復(fù)雜查詢的需求。實(shí)現(xiàn)了1100億行數(shù)據(jù)、40TB大數(shù)據(jù)量下的實(shí)時(shí)查詢，支持前端SQL條件靈活組合、最多15個(gè)表join的多表復(fù)雜查詢。

第二， RapidsDB支撐了全銀行5萬(wàn)名客戶經(jīng)理的日常查詢服務(wù)，具備典型情況下上百個(gè)并發(fā)查詢和極端情況下4000多個(gè)并發(fā)查詢的能力，能夠充分應(yīng)對(duì)業(yè)務(wù)多點(diǎn)并發(fā)的讀取請(qǐng)求，達(dá)到平均3.6秒的響應(yīng)時(shí)間。

第三， RapidsDB能夠穩(wěn)定可靠地運(yùn)行，提供99.999%高可用的數(shù)據(jù)服務(wù)，滿足金融行業(yè)對(duì)數(shù)據(jù)庫(kù)的嚴(yán)苛要求，有效支撐了該銀行普惠金融業(yè)務(wù)的快速發(fā)展。

03?

項(xiàng)目經(jīng)驗(yàn)總結(jié)

該銀行的數(shù)據(jù)分析平臺(tái)成功上線以來(lái)，柏睿數(shù)據(jù)RapidsDB分布式全內(nèi)存數(shù)據(jù)庫(kù)展現(xiàn)了出色的性能和穩(wěn)定性來(lái)支撐該銀行普惠金融業(yè)務(wù)的轉(zhuǎn)型升級(jí)。該項(xiàng)目的成功落地為同類型業(yè)務(wù)或者相似規(guī)模的企業(yè)提供了以下分析型數(shù)據(jù)庫(kù)的使用建議：

1）在類似普惠金融擁有海量多元化數(shù)據(jù)沉淀，并且要求高實(shí)時(shí)性查詢的業(yè)務(wù)場(chǎng)景中，全內(nèi)存數(shù)據(jù)庫(kù)因?yàn)檫\(yùn)行時(shí)不需要將數(shù)據(jù)同步到物理磁盤(pán)，從而避免了磁盤(pán)I/O限制對(duì)系統(tǒng)性能的影響并且減少了系統(tǒng)維護(hù)的工作量，所以被該類型業(yè)務(wù)場(chǎng)景所青睞。因此，對(duì)于數(shù)據(jù)存取效率要求較高的系統(tǒng)，全內(nèi)存數(shù)據(jù)庫(kù)可以比主要利用磁盤(pán)存取的數(shù)據(jù)庫(kù)發(fā)揮更大的性能作用。

2）在類似國(guó)有銀行員工數(shù)量眾多、內(nèi)部組織架構(gòu)復(fù)雜的大型企業(yè)中，通常有大量業(yè)務(wù)人員同時(shí)進(jìn)行日常查詢操作來(lái)保證業(yè)務(wù)正常運(yùn)轉(zhuǎn)。因此，分析型數(shù)據(jù)庫(kù)需要具備分布式相關(guān)技術(shù)，通過(guò)動(dòng)態(tài)擴(kuò)展和平衡分配任務(wù)量支持多點(diǎn)并發(fā)的任務(wù)請(qǐng)求，保證同一時(shí)間下查詢的及時(shí)響應(yīng)。

注：點(diǎn)擊左下角“閱讀原文”，可了解更多內(nèi)容。

登錄閱讀全文



免責(zé)聲明：該內(nèi)容由專欄作者授權(quán)發(fā)布或作者轉(zhuǎn)載，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)，本站亦不保證或承諾內(nèi)容真實(shí)性等。若內(nèi)容或圖片侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系本站刪除。侵權(quán)投訴聯(lián)系：? nick.zong@aspencore.com！

愛(ài)分析ifenxi 愛(ài)分析ifenxi是專注于AI市場(chǎng)的研究咨詢機(jī)構(gòu)

進(jìn)入專欄

評(píng)論