HPC并行文件：元數據如何縱向可擴展？

在HPC計算和存儲業務中，針對文件系統的IO請求中，一半以上是元數據訪問。元數據訪問特點：

• I/O大小較小（元數據大小通常只有幾百Byte），使得元數據服務器CPU的負載重
• 許多元數據操作包含多次子操作，例如打開文件需要進行多次的路徑解析，使得元數據操作會觸發多次網絡I/O

當前，主流并行文件系統大多采用分布式解決方案中，Lustre、CephFS采用子樹劃分+目錄條帶化；BeeGFS根據名稱的Hash值分布到多節點；GlusterFS采用無中心架構；IndexFS的元數據以KV存儲，通過GIGA+算法分布到多節點。

現有文件系統元數據管理的潛在缺陷：1）POSIX的語義限制了元數據性能提升，2）數據結構不利于并發處理，3）元數據性能提升面臨的機遇，如IO設備跨越式發展（NVMe SSD充裕的IOPS和帶寬，多通道并發能力）。

針對文件系統元數據一直是文件系統的瓶頸問題，單點元數據性能仍然存在很大的提升空間，如沒有充分發揮IO效能，沒有充分發揮計算效能等，本文提出改進數據結構，降低IO之間的依賴，發揮并行IO能力（降低目錄路徑解析延遲，降低大目錄訪問延遲，降低數據塊訪問延遲）改進算法，發揮計算部件的并行計算能力等措施。

針對文件系統元數據一直是文件系統的瓶頸問題，單點元數據性能仍然存在很大的提升空間，如沒有充分發揮IO效能，沒有充分發揮計算效能等，本文提出改進數據結構，降低IO之間的依賴，發揮并行IO能力（降低目錄路徑解析延遲，降低大目錄訪問延遲，降低數據塊訪問延遲）改進算法，發揮計算部件的并行計算能力等措施。

服務器基礎知識全解PPT(終極版)

服務器基礎知識全解PDF(終極版)

免責申明：本號聚焦相關技術分享，內容觀點不代表本號立場，可追溯內容均注明來源，發布文章若存在版權等問題，請留言聯系刪除，謝謝。

溫馨提示：

請搜索“AI_Architect”或“掃碼”關注公眾號實時掌握深度技術分享，點擊“閱讀原文”獲取更多原創技術干貨。