海量小文件！全閃存該怎么辦？

移動互聯(lián)網(wǎng)、人工智能、5G、IoT等技術(shù)的發(fā)展，海量的終端催生了越來越高的業(yè)務(wù)性能需求，越來越多的文件業(yè)務(wù)場景要求被“加速”，以提供快速響應(yīng)和高帶寬訪問。HDD存儲設(shè)備已無法滿足高IOPS、低延遲的業(yè)務(wù)需求，越來越多的企業(yè)數(shù)據(jù)中心開始選擇全閃存的解決方案。據(jù)Gartner預(yù)計，到2020年數(shù)據(jù)中心50%的機(jī)械硬盤存儲將被全閃存存儲取代，應(yīng)用于新數(shù)據(jù)時代的諸多業(yè)務(wù)場景。

01　方案背景

海量小文件難題

大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、智慧金融、電子商務(wù)、新媒體等應(yīng)用產(chǎn)生了大量數(shù)據(jù)，其中小文件數(shù)量可以可輕松達(dá)到千萬甚至十億級別。如淘寶、京東等購物網(wǎng)站的海量產(chǎn)品圖片；微博微信里用戶上傳的表情、圖片；人工智能領(lǐng)域的人臉識別、安防監(jiān)控的卡口圖片、金融的影像數(shù)據(jù)等，這些文件在幾KB至幾百KB不等，數(shù)量可達(dá)上億級，屬于典型的海量小文件。

海量小文件簡稱LOSF(lots of small file)，業(yè)內(nèi)將大小在1MB以內(nèi)的文件稱為小文件，百萬級數(shù)量及以上稱為海量。LOSF讀寫性能低下一直是困擾存儲界的難題，無論是傳統(tǒng)磁盤陣列，還在風(fēng)頭正勁的分布式存儲，都無法有效應(yīng)對海量小文件的I/O壓力。

海量小文件的文件尺寸小，因此多個文件在硬盤上的分布不連續(xù)，物理位置跨度較大；而文件系統(tǒng)的每次文件訪問都會伴隨一定的元數(shù)據(jù)操作，文件數(shù)量越多，元數(shù)據(jù)訪問壓力越大。因此海量小文件讀寫是并發(fā)隨機(jī)訪問，資源開銷大，對存儲系統(tǒng)的隨機(jī)讀寫性能有極高的要求。而目前的文件系統(tǒng)包括本地文件系統(tǒng)、分布式文件系統(tǒng)等主要面向傳統(tǒng)場景設(shè)計，在元數(shù)據(jù)管理、數(shù)據(jù)布局、緩存策略等方面都側(cè)重于大文件，在海量小文件壓力下性能極差，業(yè)務(wù)訪問時常常出現(xiàn)目錄無法打開、檢索緩慢、響應(yīng)遲鈍、甚至發(fā)熱宕機(jī)等情況。

大文件帶寬壓力

一方面，小文件的數(shù)量在瘋狂增長，另一方面，大文件的尺寸在快速增加。如像素越來越高的手機(jī)照片、動輒幾百GB甚至TB級的4K/8K視頻、精密科研儀器產(chǎn)生的大尺寸素材數(shù)據(jù)。這些數(shù)據(jù)不僅僅需要海量的存儲空間，更需要充足的帶寬性能，滿足大量數(shù)據(jù)在快速查看、編輯、處理、共享等多方面的需求。

以高清非編為例，它通過多個工作站對于高清視頻素材的編輯與渲染，最終處理生成符合播放要求的視頻文件。無損4K視頻碼率可超過300MB/s，壓縮后仍有500Mb/s的碼率，某些特殊場景因有更高的幀率，碼率更可達(dá)到驚人的1.5GB/s。

在10個工作站規(guī)模、無損4K素材視頻編輯時，假設(shè)每工作站平均編輯5層4K素材，需要的帶寬性能為300MB/s×5×10=15000MB/s。這對于存儲系統(tǒng)是一個巨大的性能挑戰(zhàn)，SAN文件系統(tǒng)方案架構(gòu)復(fù)雜，且需要很多套光纖陣列支撐；而傳統(tǒng)分布式存儲需要眾多存儲節(jié)點，且網(wǎng)絡(luò)延時帶來的抖動也很難滿足視頻渲染的穩(wěn)定性要求。類似的大文件應(yīng)用場景，需要更高帶寬、更低延時、簡單經(jīng)濟(jì)的解決方案。

02 FASS文件網(wǎng)關(guān)解決方案說明

為滿足海量小文件高效管理和大文件的高帶寬性能需求，TaoCloud基于FASS分布式全閃存儲系統(tǒng)，推出了FASS文件網(wǎng)關(guān)解決方案。該方案主要采用分布式全閃存儲架構(gòu)，通過在資源調(diào)度、元數(shù)據(jù)管理、數(shù)據(jù)組織、I/O 流程優(yōu)化等多方面優(yōu)化，可以有效釋放全閃存介質(zhì)的性能，實現(xiàn)海量小文件訪問的快速響應(yīng)；文件網(wǎng)關(guān)可以支持多種文件存儲協(xié)議，實現(xiàn)便捷的數(shù)據(jù)共享和強(qiáng)大的帶寬性能。

△FASS文件網(wǎng)關(guān)方案拓?fù)鋱D

為保障文件網(wǎng)關(guān)的高性能表現(xiàn)，方案采用配備全閃存介質(zhì)的FASS分布式全閃存儲集群作為存儲底座，F(xiàn)ASS使用本地SSD資源創(chuàng)建多個LUN卷，并映射到不同的網(wǎng)關(guān)節(jié)點。FASS是面向IO密集型應(yīng)用的高性能塊存儲系統(tǒng)。它采用高性能的全閃存硬件平臺，針對NVMe閃存介質(zhì)設(shè)計了高效的分布式存儲軟件棧，F(xiàn)ASS可將多個節(jié)點的SSD資源通過高速以太網(wǎng)或Infiniband網(wǎng)絡(luò)組成高性能、高可用、易擴(kuò)展的塊存儲資源池，并通過iSCSI、iSER、NVMeoF存儲接口對外提供超高性能的存儲服務(wù)。隨著業(yè)務(wù)性能需求的增長，F(xiàn)ASS可以通過橫向擴(kuò)展，輕松提升容量與性能。

文件網(wǎng)關(guān)相當(dāng)于IO節(jié)點，它們通過高速IP SAN網(wǎng)絡(luò)訪問FASS存儲服務(wù)，使用iSER協(xié)議掛載其LUN資源。每個網(wǎng)關(guān)節(jié)點以多路徑的形式掛載所有LUN卷，并使用其中某個卷作為自己的存儲介質(zhì)資源。各網(wǎng)關(guān)節(jié)點使用的LUN卷各不相同，可以單獨(dú)導(dǎo)出文件服務(wù)，或?qū)⑺蠰UN創(chuàng)建存儲資源池，并以CIFS/NFS/S3等協(xié)議對外導(dǎo)出，通過10/25/100Gb以太網(wǎng)為應(yīng)用提供高性能、易共享、彈性擴(kuò)展的存儲服務(wù)。

網(wǎng)關(guān)節(jié)點本身即一套高可用集群，通過LUN多路徑映射以及SAN高可用設(shè)計，任何一個網(wǎng)關(guān)節(jié)點故障后，它的LUN卷會由其他網(wǎng)關(guān)節(jié)點自動接管，最大允許N-1節(jié)點故障，而不影響文件存儲服務(wù)的正常使用。

FASS文件網(wǎng)關(guān)包含IO鏈路、集群內(nèi)部、業(yè)務(wù)訪問幾層，不同網(wǎng)絡(luò)可單獨(dú)配置，也可以復(fù)用簡化。為保證方案整體性能，推薦配置10Gbps以上網(wǎng)絡(luò)配置。

FASS文件網(wǎng)關(guān)可以提供遠(yuǎn)高于傳統(tǒng)NAS的文件訪問性能，滿足新興文件應(yīng)用場景對于高IOPS和帶寬的苛刻要求，參考性能：

03 FASS方案優(yōu)勢

·優(yōu)秀的性能表現(xiàn)

FASS網(wǎng)關(guān)方案采用share-nothing分布式集群架構(gòu)，可以消除獨(dú)立元數(shù)據(jù)性能瓶頸，支持百億級別文件總數(shù)目和千萬級單目錄文件數(shù)目。FASS元數(shù)據(jù)服務(wù)基于內(nèi)存K/V數(shù)據(jù)庫實現(xiàn)，文件數(shù)據(jù)與元數(shù)據(jù)分別存儲和管理，具備優(yōu)秀的性能擴(kuò)展能力。通過NVMe盤提供極致I/O性能，結(jié)合軟件層的XPE引擎設(shè)計、微控制器技術(shù)、輕量元數(shù)據(jù)索引等機(jī)制，塊存儲端可達(dá)到三節(jié)點千萬級IOPS、微秒級延遲；文件存儲性能可達(dá)到數(shù)十萬OPS、10GB/S級帶寬。

·統(tǒng)一存儲、便捷共享

FASS文件網(wǎng)關(guān)方案同時提供高性能塊、文件、對象訪問，如CIFS、NFS、FTP、S3、iSCSI、iSER，可以滿足用戶各類應(yīng)用的存儲訪問需求。數(shù)據(jù)庫可以使用iSER高性能塊服務(wù)，滿足關(guān)鍵業(yè)務(wù)的性能需求；海量小文件或大文件編輯，可以使用NAS協(xié)議或POSIX共享訪問。方案采用透明共享機(jī)制，可以讓文件協(xié)議和對象協(xié)議實現(xiàn)零拷貝數(shù)據(jù)共享，異構(gòu)應(yīng)用可以輕松共享彼此寫入的數(shù)據(jù)，而無需任何拷貝或轉(zhuǎn)換。。

·高可用、靈活擴(kuò)展

FASS分布式全閃存儲系統(tǒng)采用全活高可用架構(gòu)，可以允許任意節(jié)點故障而不中斷塊存儲服務(wù)；存儲網(wǎng)關(guān)通過多路徑映射加SAN高可用機(jī)制，可以允許N-1個網(wǎng)關(guān)節(jié)點故障。兩者結(jié)合，具有極高的業(yè)務(wù)可用性。

隨著業(yè)務(wù)的增長，方案可以按需配置相應(yīng)的集群規(guī)模，以最小的投入滿足業(yè)務(wù)性能需求。方案前后端相對獨(dú)立，用戶可以根據(jù)業(yè)務(wù)對塊存儲和文件/對象存儲的不性能要求，對FASS存儲底座與文件網(wǎng)關(guān)可以配置不同的網(wǎng)絡(luò)、集群規(guī)模、硬件規(guī)格，以經(jīng)濟(jì)靈活的配置，滿足業(yè)務(wù)的實際資源需求。隨著集群規(guī)模的擴(kuò)展，文件網(wǎng)關(guān)的整體性能呈線性增長。

04 典型業(yè)務(wù)場景

FASS文件網(wǎng)關(guān)解決方案主要面向海量小文件和高業(yè)務(wù)帶寬需求場景，可以通過標(biāo)準(zhǔn)的NAS或CIFS協(xié)議，可以便捷的文件共享和高吞吐帶寬性能。可廣泛應(yīng)用于AI海量小文件、4K/8K非編、HPC、基因測序、高速數(shù)據(jù)采集 （雷達(dá)、衛(wèi)星等）等業(yè)務(wù)場景。

海量小文件

AI人臉識別、大型電商、交通卡口等場景，每天都會產(chǎn)生高級TB量級的小圖片文件，這些數(shù)據(jù)要求保存一定的周期，到期后需要批量刪除，集中操作往往給存儲系統(tǒng)帶來巨大的壓力。大量的元數(shù)據(jù)操作導(dǎo)致傳統(tǒng)存儲系統(tǒng)對小文件的刪除、檢索效率極低，讀寫放大明顯，HDD存儲系統(tǒng)難以應(yīng)對如此龐大的文件數(shù)據(jù)和隨機(jī)訪問壓力，成為類似應(yīng)用的最大性能瓶頸。

FASS網(wǎng)關(guān)方案采用分布式輕量級元數(shù)據(jù)設(shè)計，可以支持百億級別文件總數(shù)目和千萬級單目錄文件數(shù)目。結(jié)合軟件層的的多種優(yōu)化，可以充分發(fā)揮NVMe盤的隨機(jī)讀寫性能，應(yīng)對海量小文件的同時刪除或并發(fā)隨機(jī)訪問壓力。

△FASS文件網(wǎng)關(guān)交通卡口海量圖片管理

高清非編

4K/8K不僅給播放設(shè)備、網(wǎng)絡(luò)帶寬帶來的新的挑戰(zhàn)，給后端的存儲設(shè)備更是帶來了性能和容量上的巨大壓力。視頻后期制作通常需要同時編輯多層素材，導(dǎo)致存儲帶寬需求數(shù)倍增長；除了極高的帶寬，還要求存儲的訪問延遲較低，不能存在明顯的性能抖動，否則會導(dǎo)致畫面卡頓、丟幀等情況，極大影響編輯人員的工作體驗。隨著業(yè)務(wù)的增長，視頻素材的累積，工作站所需要的存儲空間也越來越大，存儲設(shè)備需要具備強(qiáng)大的擴(kuò)展能力，以彈性滿足業(yè)務(wù)發(fā)展的需要。 

FASS文件網(wǎng)關(guān)解決方案可以較低的成本提供非編所需的容量、帶寬與共享特性，解決4K/8K視頻編輯處理面臨的性能難題。

△FASS文件網(wǎng)關(guān)4K/8K非編應(yīng)用

高性能計算

隨著HPC逐漸往大數(shù)據(jù)、AI等方向融合和演進(jìn)，對存儲容量、I/O性能、彈性擴(kuò)展能力提出了更多的要求。多個HPC高工作需要便捷的數(shù)據(jù)共享，通過文件協(xié)議實現(xiàn)高帶寬業(yè)務(wù)訪問。也對數(shù)據(jù)提供出了全場景交叉共享，跨業(yè)務(wù)自由流動的要求。

FASS文件網(wǎng)關(guān)支持多種文件存儲協(xié)議，高吞吐、可擴(kuò)展的帶寬表現(xiàn)，可以滿足多個高性能計算節(jié)點的并行數(shù)據(jù)處理要求，并提供原生的數(shù)據(jù)共享；內(nèi)置的冷數(shù)據(jù)歸檔功能，可以將重要的結(jié)果數(shù)據(jù)歸檔至藍(lán)光或云端保存；軟件定義方案，支持主流的服務(wù)器硬件平臺，降低用戶建設(shè)成本。

△FASS文件網(wǎng)關(guān)基因測序HPC應(yīng)用

（TaoCloud團(tuán)隊原創(chuàng)）