近年來，為滿足大規模的存儲應用需求，分布式存儲成為云環境下存儲底座構建的重要選擇，相較于傳統集中式存儲方案的可靠性、安全性以及數據利用率較低，分布式存儲具有易擴展、高性能、高性價比、支持分級存儲、多副本一致性及存儲系統標準化等優勢。

塊存儲作為分布式存儲的一部分，主要為計算集群虛擬機、容器提供彈性卷服務，而彈性卷 EVS 則是當前云業務平臺最核心的存儲服務，對存儲性能要求極高，基于此，各大云廠商基本采用全閃化形態部署。

Ceph 則是當前業界應用最廣泛的開源分布式存儲軟件，憑借高擴展性、高性能、高可靠等特點，同時支持塊存儲、文件存儲及對象存儲接口，已成熟應用于云計算的 IAAS 平臺。為更好地助力分布式塊存儲系統性能及可靠性的提升，憶聯在 Ceph 平臺下開展實測，本文為此次的測試結論。

一、Ceph 簡介

Ceph 是一個統一的分布式存儲系統，可提供較好性能、可靠性和擴展性，是面向云計算領域重要的底層存儲系統，已在國內運營商、政府、金融、互聯網等多個行業落地應用。

圖 1：Ceph 技術架構圖

Ceph 主要分為應用接口層、存儲基礎接口層、存儲對象層。接口層主要負責客戶端訪問，分為本地語言綁定接口、塊存儲設備接口和文件系統接口，展現了 Ceph 統一性。

在 Ceph 塊存儲系統中，數據以塊的形式存在卷里，塊為應用程序提供大存儲容量，可靠性和性能都更高，卷可映射到操作系統中，由文件系統層控制。Ceph 塊存儲系統引入的 RBD（Ceph 塊設備）協議為客戶端提供了高可靠、高性能、分布式的塊存儲，同時 RBD 也支持其他的企業級特性，例如完整和增量式快照，精簡的配置，寫時復制( copy-on-write)式克隆，以及全內存式緩存等，從而大大提高了系統的性能。

圖 2：Ceph 塊存儲組件

二、憶聯 Ceph 存儲方案驗證

1.驗證環境

1.1 本次驗證硬件配置

1.2本次驗證軟件配置

1.3本次驗證組網規劃

圖 3：Ceph 組網規劃架構圖

2、驗證方法

步驟 1：創建 RBD pool 和 RBD 卷。配置參數 osd_pool_default_size 確定 RBD Pool 池的副本數，2 表示兩幅本，3 表示三副本，根據實際副本數需求，將該配置項添加到 ceph.conf 中即可。另外根據規劃，需要創建 60 個大小為 100GiB 的 RBD 卷進行 IO 測試。

步驟 2：下發 IO 測試前，需對服務器和客戶端的 IO、CPU、網絡進行監控，每 2 秒采集一次數據。

步驟 3：在 6 個客戶端上同時對 60 個 RBD 卷下發 IO，每個客戶端均需綁核，即每個 fio 綁定不同 cpu 核。

步驟 4：完成 IO 測試后，需關閉服務端和客戶端的 IO、CPU、網絡進行監控。

步驟 5：測試完成后，需匯總所有客戶端 fio 的 BW、IOPS、平均時延，匯總對應的監控數據。對于 BW 和 IOPS，累加各 FIO 對應結果即可；對于平均時延，累加之后需求平均值。

3、驗證結果

本次在 Ceph 場景下驗證結果如下：

①、憶聯 UH8 系 SSD 在隨機讀及順序讀下的表現。

圖 4：Ceph 場景下憶聯 UH8 系 SSD 讀性能

從圖 4 可以看出，在 Ceph 分布式存儲系統下，不論是二副本還是三副本，憶聯 UH8 系 SSD 的讀性能基本持平。在時延方面，二副本與三副本趨勢基本一致，1QD 至 32QD 間較為穩定，在 32QD 后時延明顯增加。

②、憶聯 UH8 系 SSD 在隨機寫及順序寫下的表現。

圖 5：Ceph 場景下憶聯 UH8 系 SSD 寫性能

如圖 5 所示，不論是在隨機寫還是在順序寫業務下，二副本寫性能遠高于三副本性能，主要是由于副本復制帶來的網絡及存儲開銷，造成三副本寫帶寬及寫 IOPS 下降明顯。在總體時延表現上，二副本明顯優于三副本。在時延變化趨勢上，二副本與三副本基本一致，皆在 32QD 后有比較顯著的上升。

③、憶聯 UH8 系 SSD 在混合讀寫場景下的表現。

圖 6：Ceph 場景下憶聯 UH8 系 SSD 混合讀寫性能

從圖 6 可以看出，在 4K 7:3 混合讀寫業務場景下，從 16QD 起，二副本 IOPS 性能優于三副本。在時延整體表現上，二副本低于三副本，但在時延變化趨勢上，二副本與三副本基本一致，時延從 32QD 起，明顯上升。

小結：從 Ceph 讀、寫、混合讀寫業務場景的實測數據中，可以看到憶聯 SSD 整體表現優秀，可為 Ceph 環境提供極致存儲性能。在時延上，憶聯 SSD 在 32QD 及以下場景中，表現亮眼，可獲得更佳的時延體驗。

④、智能多流降 WA，有效提升 SSD 壽命

為更好解決讀寫機制帶來的寫放大而造成的 SSD 性能損耗及使用壽命縮短，憶聯推出 SSD 的智能多流特性，通過智能冷熱數據分類算法，有效提高 GC（垃圾回收）時的效率，減少寫放大，提升 SSD 性能。

圖 7：Ceph 場景下智能多流特性測試

在 Ceph 方案中，基于標準 JESD 219 業務模型，針對 SSD 分別開啟、關閉智能多流進行寫放大測試，通過圖 7 對比驗證結果可以看到憶聯智能多流（IMS）開啟后，SSD 寫放大降低 20%+，極大提升了 SSD 壽命。

本次驗證證明了憶聯 SSD 在 Ceph 分布式存儲系統中的穩定性能，可有效支撐 Ceph 的存儲需求，為 Ceph 提供始終如一的高性能，成為軟件定義存儲解決方案最優的選擇。同時，憶聯 SSD 獨有的智能多流技術可降低分布式存儲場景下 SSD 寫放大，提升 SSD 壽命，幫助用戶減少總體 TCO。對于 Ceph 分布式存儲系統而言，憶聯 SSD 是一個可真正做到高性能、高可靠、低成本的存儲解決方案。