隨著(zhù)AI時(shí)代的到來(lái),云數據中心如何實(shí)現節能提效正成為熱門(mén)話(huà)題。其中,SR-IOV技術(shù)憑借靈活度高以及可節約虛擬化業(yè)務(wù)算力等優(yōu)勢,是打造綠色低碳云數據中心的重要解決方案之一。
一、什么是SR-IOV 技術(shù)
SR-IOV 是由國際組織 PCI-SIG 組織定義的 PCIe 規范的擴展規范,旨在消除VMM 對虛擬化 I/O 操作的干預,提高數據傳輸性能,為 VM(虛擬機)提供獨立的內存空間、終端、DMA 數據流。具備 SR-IOV 功能的 I/O 設備基于 PCIe 規范可管理、創(chuàng )建多個(gè) VF(virtual function)。PCIe PF(physical function)是 PCIe 總線(xiàn)上的主要實(shí)體,一個(gè) PCIe 設備具有一個(gè)或多個(gè) PF,PF 設置 VF 數量,全局啟動(dòng)或停止 VF,VF 可以不通過(guò) VMM 的干預完成數據的訪(fǎng)問(wèn)和轉移。
圖1:傳統虛擬機與SR-IOV虛擬機對比
SR-IOV 功能下,原本是 VMM 承擔的中斷交由虛擬機直接處理,提升了設備 I/O 性能,同時(shí)虛擬機可以直接與 PCIe 設備進(jìn)行交互,大大減輕了物理主機 CPU 的負擔,使其可承擔更多的虛擬機設備。另外,通過(guò) SR-IOV 功能,可以減少 PCIe 設備的需求量,節省 PCIe 插槽,使得硬件資源可以更加充分使用。
基于以上優(yōu)勢,多家 SSD 廠(chǎng)商開(kāi)始布局 SR-IOV,目前憶聯(lián)已領(lǐng)先在 UH8 系 及 UH7 系產(chǎn)品上成功實(shí)現 SR-IOV 功能應用,并在多個(gè)云數據中心投入使用。
01 憶聯(lián) SR-IOV 方案驗證
1 驗證環(huán)境
1.1 本次驗證硬件配置
·CPU:2* Intel(R) Xeon(R) Gold 6336Y CPU @ 2.40GHz 24cores/48threads
·內存:16*32GB 3200MT/S DDR4
·系統盤(pán):1*960G 12Gbps ? SSD:1*UH8 系 3.84T
·HBA 卡:1*MegaRAID 9440-8i
·NIC:2* SC332
1.2 本次驗證軟件配置
·操作系統:CentOS Linux release 8.3.2011
·內核:Linux 4.18.0-240.el8.x86_64
·測試工具:2.6 及以上版本
·QEMU-KVM:2.12
·NVMe 開(kāi)源驅動(dòng):1.11.1
·umtool 工具:1.0.1.5
2 驗證方法
本次驗證,在虛擬化分區方式的場(chǎng)景下,通過(guò) SR-IOV 技術(shù)將一片 PCIe 4.0 3.84TB SSD(綁定 16 個(gè) CPU 核)配置為 2 個(gè)容量為 1.92TB VF(綁定 8 個(gè) CPU),4 個(gè) 960G VF(綁定 4 個(gè)核),8 個(gè) 480G VF(綁定 2 個(gè)核),如下示意圖。
圖2:虛擬化分區方式場(chǎng)景
測試 IO 基本模型如下:
·讀寫(xiě)帶寬(bs=128k, job=1, iodepth=128, read/write)
·讀 IOPS(bs=4k, job=16, iodepth=128, randread)
·寫(xiě) IOPS(bs=4k, job=8, iodepth=64, randwrite)
通過(guò)對盤(pán)進(jìn)行劃分為 2/4/8 個(gè) VF 的場(chǎng)景下,在常規 IO 測試模型下進(jìn)行 SR-IOV 方案驗證。
3 驗證結果
3.1 SSD 性能充分使用,有效提高利用率
本次在 SR-IOV 功能下的不同 VF 場(chǎng)景下總性能與整盤(pán)的性能對比圖如下(以下數據為此次驗證數據,僅供參考)。
*注:總帶寬/總 IOPS=平均性能×VF 數量
圖3:使用 SR-IOV 前后盤(pán)片性能對比圖
從圖 3 可以看到,在此次 SR-IOV 方案驗證下,PF 性能、VF 性能總和與原盤(pán)的性能相比波動(dòng)較低,基本在 5%以?xún)?,?shí)現了對憶聯(lián) UH 系列 SSD 性能充分使用。在云場(chǎng)景下,可以減少用戶(hù)所需PCIe設備數量,有效提升租戶(hù)利用率,實(shí)現云虛擬化業(yè)務(wù)降本增效。
3.2 各場(chǎng)景下 VF 性能穩定,擴展性、靈活性高
為驗證 VF 性能穩定,在劃分 2/4/8 個(gè) VF 的場(chǎng)景下,分別進(jìn)行了測試,結果如下圖。
注:偏差值=(VF 均值-VF 性能)/VF 均值*100%
圖4:SR-IOV 功能下各 VF 與均值偏差圖
數據顯示,各 VF 測試值與 VF 均值基本偏差小于 1%,VF間性能分配較為穩定,擴展性較高,可靈活根據用戶(hù)需求進(jìn)行 VF 數量設置及管理。
3.3 SR-IOV with QoS 性能隔離明顯
將 SSD 拆分成多個(gè)虛擬盤(pán)后,為了避免出現多個(gè)虛擬機同時(shí)運行以及同個(gè)虛擬機同時(shí)對盤(pán)上下業(yè)務(wù)從而出現性能上互相干擾的情況,憶聯(lián)針對 SR-IOV 特性做了針對性能隔離的設計——SR-IOV with QoS,可通過(guò) SSD 芯片對各 VF 進(jìn)行流控,做到性能均衡,保障虛擬SSD盤(pán)的大帶寬、低時(shí)延等特性,滿(mǎn)足云數據中心對于高性能數據存儲的需求。
圖5:具體業(yè)務(wù)場(chǎng)景下 VF 的性能表現
三、憶聯(lián) SR-IOV技術(shù)的演進(jìn)方向
1、SR-IOV 的性能隔離功能進(jìn)一步優(yōu)化
當前憶聯(lián) SR-IOV 使用 NS 對 VF 進(jìn)行邏輯上的數據隔離,但因為所有 VF 都使用公共的Nand Flash 空間,各 VF 間不可避免會(huì )存在性能影響,雖然在 QoS 功能的調度下控制到了一定范圍內,但在部分更為復雜業(yè)務(wù)場(chǎng)景下仍不可避免。為解決這個(gè)問(wèn)題,憶聯(lián)將繼續深耕 SR-IOV 在 SSD 上的應用,進(jìn)一步優(yōu)化性能隔離算法,實(shí)現更好的隔離效果。
2、SR-IOV 的數據安全
虛擬機數據安全至關(guān)重要,當前代次虛擬機數據可以通過(guò) trim 的方式進(jìn)行清除,但對于金融、政府等對數據安全要求高的客戶(hù)仍存在不足,如當 SSD 離開(kāi)數據中心機柜便存在數據被盜取的可能。憶聯(lián)針對虛擬機數據安全的研究方向已初具成果,后續可以做到在虛擬機釋放時(shí),對應到 SSD 上的物理數據同時(shí)徹底銷(xiāo)毀,為維護數據安全提供保障。
3、SR-IOV 的智能化
憶聯(lián)當前代次的 SR-IOV 具備各 VF 性能統計能力,新一代 SSD 中支持虛擬機性能智能分析,根據性能狀態(tài)進(jìn)行性能配置反饋,支持對虛擬機狀態(tài)進(jìn)行智能診斷并遠程修復等功能。
綜上所述,憶聯(lián) UH8 系列及 UH7 系列 SSD 的 SR-IOV 技術(shù)是可真正做到降本增效、綠色低碳可持續的存儲方案。能有效提高盤(pán)片利用率,減少存儲空間的浪費,實(shí)現節能減排的同時(shí),憶聯(lián) SR-IOV 方案表現出效果顯著(zhù)的隔離度,更能滿(mǎn)足用戶(hù)在云化環(huán)境下對AI、分布式數據庫、高性能企業(yè)應用等需求。
多年來(lái),憶聯(lián)持續加大SSD產(chǎn)品的研發(fā)創(chuàng )新投入力度,結合自身在閃存領(lǐng)域的多重優(yōu)勢,通過(guò)硬件技術(shù)與用戶(hù)應用場(chǎng)景結合,不斷迭代更為先進(jìn)的SSD產(chǎn)品助力企業(yè)業(yè)務(wù)系統穩定運行 。憶聯(lián) SR-IOV 方案是對公司研發(fā)創(chuàng )新能力最好的驗證,未來(lái)憶聯(lián)將進(jìn)一步夯實(shí)產(chǎn)品創(chuàng )新能力,為數字經(jīng)濟高質(zhì)量、可持續發(fā)展添磚加瓦。
地址:深圳市南山區記憶科技后海中心B座19樓
電話(huà):0755-2681 3300
郵箱:support@unionmem.com