分布式存儲是當前企業(yè)構建高效、彈性數據底座的核心選擇，以滿(mǎn)足大規模數據存儲與應用需求。作為開(kāi)源分布式存儲的領(lǐng)軍者，具備高擴展性、多協(xié)議支持和成熟生態(tài)的特點(diǎn)，是國內運營(yíng)商、金融、頭部互聯(lián)網(wǎng)公司等各行業(yè)的首選存儲方案。

憶聯(lián)Ceph分布式存儲方案有如下優(yōu)勢：

?       基于PCIe 5.0 ESSD，數據吞吐效率為上一代的2倍。

?       創(chuàng )新的智能多流技術(shù)，精準適配Ceph數據分布特性，性能優(yōu)于同代際主流競品高至3.15%。

?       有效抑制寫(xiě)放大效應(WAF)，優(yōu)于同代際主流競品20%-32%。

方案將SSD預期壽命延長(cháng)20%以上，實(shí)現性能、耐用性與可靠性三重突破，為云原生環(huán)境提供兼具超低延遲與超高一致性的存儲基礎設施，滿(mǎn)足企業(yè)級客戶(hù)對存儲系統全生命周期穩定性的嚴苛需求。

Ceph分布式存儲挑戰

Ceph通過(guò)RBD（RADOS Block Device）提供企業(yè)級塊設備服務(wù)，支持快照、克隆、精簡(jiǎn)配置等高級功能。然而，在分布式存儲場(chǎng)景下，多副本數據一致性、網(wǎng)絡(luò )延遲及存儲介質(zhì)性能瓶頸等問(wèn)題，極易導致寫(xiě)放大效應加劇，影響SSD壽命及系統穩定性。

傳統SSD在應對Ceph讀寫(xiě)負載時(shí)，因冷熱數據識別效率低、垃圾回收（GC）策略僵化，導致寫(xiě)放大系數居高不下，進(jìn)而降低SSD壽命并增加時(shí)延。憶聯(lián)UH812a/UH832a通過(guò)智能多流技術(shù)，實(shí)現數據冷熱分類(lèi)與IO路徑優(yōu)化，從硬件層面突破這一瓶頸。

憶聯(lián)Ceph分布式存儲方案驗證

測試環(huán)境配置

測試驗證硬件配置如下：

CPU	Intel Xeon Gold 6430 *2
內存	256GB (32GB*8 DDR5)
存儲	系統盤(pán)：SATA (480GB*2) 數據盤(pán)：UH812a NVMe SSD（7.68TB*4）
網(wǎng)卡	2端口100GE以太網(wǎng)卡 每臺服務(wù)節點(diǎn)配置2張網(wǎng)卡，每臺客戶(hù)端配置單張網(wǎng)卡

測試驗證軟件配置如下：

操作系統	CentOS Stream 9
內核	5.14.0-229.el9.x86_64
Ceph版本	17.2.7 Quincy
FIO版本	3.27（帶rbd引擎）

圖1：Ceph組網(wǎng)規劃架構圖

測試方法

1. 創(chuàng )建存儲池與RBD卷。

?       創(chuàng )建1個(gè)RBD儲存池，配置3副本。

?       創(chuàng )建60個(gè)100GB RBD卷，占總容量21%。

2. 進(jìn)行性能測試。

?       每個(gè)客戶(hù)端指定15個(gè)RBD，使用FIO工具向4個(gè)客戶(hù)端同時(shí)下發(fā)IO測試，指定rbd測試引擎，綁定CPU核以減少干擾。

?       用不同模型遍歷測試各種隊列深度（QD）時(shí)的Ceph性能，通過(guò)監控工具記錄服務(wù)節點(diǎn)與客戶(hù)端的IO、CPU、網(wǎng)絡(luò )數據。

3. 進(jìn)行單節點(diǎn)WAF對比測試。

?       選取4塊不同友商的PCIe 5.0 ESSD，預埋數據將RBD空間順序寫(xiě)2遍，4K隨機寫(xiě)5小時(shí)。

?       采用JESD219業(yè)務(wù)模型連續測試47小時(shí)，同步監控各SSD的數據寫(xiě)入量，計算WAF（NAND寫(xiě)入量/主機寫(xiě)入量）。

驗證結果與分析

性能表現

（1）隨機讀寫(xiě)與混合讀寫(xiě)性能

在3副本下，隨著(zhù)QD數量的增加，IOPS迅速增加，時(shí)延增長(cháng)緩慢，平均性能優(yōu)于友商1%。

QD為32時(shí)，UH812a隨機讀IOPS突破175.5萬(wàn)，時(shí)延穩定在1.1毫秒內；隨機寫(xiě)IOPS突破19萬(wàn)，時(shí)延穩定在9.9毫秒內。

QD為32時(shí)，UH812a混合讀寫(xiě)IOPS超過(guò)50萬(wàn)，時(shí)延約為20毫秒。

圖2：Ceph隨機讀寫(xiě)性能測試結果

圖3：Ceph隨機混合讀寫(xiě)性能測試結果

（2）順序讀寫(xiě)性能

隨著(zhù)QD數量的增加（QD在64之內），帶寬顯著(zhù)增長(cháng)，時(shí)延增長(cháng)緩慢。QD為64時(shí)，UH812a順序讀帶寬超過(guò)56GB/s，時(shí)延為8.85毫秒，平均性能與友商持平；順序寫(xiě)帶寬超過(guò)15.3GB/s，時(shí)延為32.88毫秒，平均帶寬超出友商3.15%，平均時(shí)延低于友商1.68%。

圖4：Ceph順序讀性能測試結果

圖5：Ceph順序寫(xiě)性能測試結果

智能多流技術(shù)對WAF的優(yōu)化

UH812a通過(guò)智能數據分類(lèi)算法，將元數據、日志及用戶(hù)數據分配至獨立流，減少GC過(guò)程中的無(wú)效數據搬移。本次測試顯示：

?       WAF對比：UH812a WAF平均值1.78，低于友商A 25%（2.38）、低于友商B 32%（2.61）、低于友商C 20%（2.22）。

?       壽命提升：WAF降低使UH812a的DWPD有效利用率提升，預計壽命延長(cháng)20%以上。

圖6：多友商WAF測試結果

憶聯(lián)UH812a/UH832a技術(shù)優(yōu)勢總結

智能多流技術(shù)

UH812a/UH832a系列采用動(dòng)態(tài)冷熱數據分層機制與多流協(xié)同控制技術(shù)，實(shí)現1.78超低寫(xiě)放大系數（WAF），通過(guò)智能化的數據生命周期管理，顯著(zhù)延長(cháng)SSD使用壽命，對比各友商優(yōu)勢明顯，為高負載企業(yè)級場(chǎng)景提供可靠的存儲保障。

性能一致性

UH812a/UH832a在混合負載及多副本部署場(chǎng)景中，憑借業(yè)界領(lǐng)先的時(shí)延控制與帶寬穩定性表現，有效保障業(yè)務(wù)SLA達標，關(guān)鍵指標波動(dòng)率優(yōu)于行業(yè)標準。

高可靠性

UH812a/UH832a通過(guò)融合分布式存儲副本策略與糾刪碼（EC）技術(shù)，并集成SPDK DIF/DIX的端到端數據完整性保護能力，構建了多層次數據防護體系，為業(yè)務(wù)系統提供符合工業(yè)標準的企業(yè)級端到端數據保護。

典型客戶(hù)價(jià)值

在不同領(lǐng)域，UH812a/UH832a可為運營(yíng)商、互聯(lián)網(wǎng)、金融等行業(yè)客戶(hù)解決特定需求與技術(shù)挑戰，例如：

?       為運營(yíng)商行業(yè)提升存儲效率、降低成本：智能多流技術(shù)使存儲資源的利用更高效，降低運營(yíng)商存儲成本，而ESSD的使用壽命提升超過(guò)20%，進(jìn)一步減少更換硬件的頻率與開(kāi)支。

?       保障頭部互聯(lián)網(wǎng)公司業(yè)務(wù)連續性和用戶(hù)體驗：性能一致性確保關(guān)鍵業(yè)務(wù)的時(shí)延和帶寬穩定性，幫助大型互聯(lián)網(wǎng)公司在高并發(fā)情況下維持優(yōu)質(zhì)的用戶(hù)體驗，確保對最終用戶(hù)服務(wù)水平協(xié)議（SLA）的達成。

?       強化金融行業(yè)數據安全與合規性：多層次的數據防護體系，確保金融數據的安全性和完整性，幫助金融機構滿(mǎn)足嚴格的合規要求，降低數據泄露和損失的風(fēng)險。

結論

憶聯(lián)PCIe 5.0 ESSD借智能多流技術(shù)與深度Ceph優(yōu)化，在分布式存儲場(chǎng)景中展現出卓越性能與穩定性。WAF指標顯著(zhù)優(yōu)于主流競品，大幅提升企業(yè)存儲效能超過(guò)20%，是構建新一代高度可擴展的分布式存儲系統的理想選擇。