隨著(zhù)AI時(shí)代的到來(lái)，云數據中心如何實(shí)現節能提效正成為熱門(mén)話(huà)題。其中，SR-IOV技術(shù)憑借靈活度高以及可節約虛擬化業(yè)務(wù)算力等優(yōu)勢，是打造綠色低碳云數據中心的重要解決方案之一。

一、什么是SR-IOV 技術(shù)

SR-IOV 是由國際組織 PCI-SIG 組織定義的 PCIe 規范的擴展規范，旨在消除VMM 對虛擬化 I/O 操作的干預，提高數據傳輸性能，為 VM（虛擬機）提供獨立的內存空間、終端、DMA 數據流。具備 SR-IOV 功能的 I/O 設備基于 PCIe 規范可管理、創(chuàng )建多個(gè) VF（virtual function）。PCIe PF（physical function）是 PCIe 總線(xiàn)上的主要實(shí)體，一個(gè) PCIe 設備具有一個(gè)或多個(gè) PF，PF 設置 VF 數量，全局啟動(dòng)或停止 VF，VF 可以不通過(guò) VMM 的干預完成數據的訪(fǎng)問(wèn)和轉移。

圖1：傳統虛擬機與SR-IOV虛擬機對比

SR-IOV 功能下，原本是 VMM 承擔的中斷交由虛擬機直接處理，提升了設備 I/O 性能，同時(shí)虛擬機可以直接與 PCIe 設備進(jìn)行交互，大大減輕了物理主機 CPU 的負擔，使其可承擔更多的虛擬機設備。另外，通過(guò) SR-IOV 功能，可以減少 PCIe 設備的需求量，節省 PCIe 插槽，使得硬件資源可以更加充分使用。

基于以上優(yōu)勢，多家 SSD 廠(chǎng)商開(kāi)始布局 SR-IOV，目前憶聯(lián)已領(lǐng)先在 UH8 系 及 UH7 系產(chǎn)品上成功實(shí)現 SR-IOV 功能應用，并在多個(gè)云數據中心投入使用。

01 憶聯(lián) SR-IOV 方案驗證

1 驗證環(huán)境

1.1 本次驗證硬件配置

·CPU：2* Intel(R) Xeon(R) Gold 6336Y CPU @ 2.40GHz 24cores/48threads

·內存：16*32GB 3200MT/S DDR4

·系統盤(pán)：1*960G 12Gbps ? SSD：1*UH8 系 3.84T

·HBA 卡：1*MegaRAID 9440-8i

·NIC：2* SC332

1.2 本次驗證軟件配置

·操作系統：CentOS Linux release 8.3.2011

·內核：Linux 4.18.0-240.el8.x86_64

·測試工具：2.6 及以上版本

·QEMU-KVM：2.12

·NVMe 開(kāi)源驅動(dòng)：1.11.1

·umtool 工具：1.0.1.5

2 驗證方法

本次驗證，在虛擬化分區方式的場(chǎng)景下，通過(guò) SR-IOV 技術(shù)將一片 PCIe 4.0 3.84TB SSD(綁定 16 個(gè) CPU 核)配置為 2 個(gè)容量為 1.92TB VF(綁定 8 個(gè) CPU)，4 個(gè) 960G VF（綁定 4 個(gè)核），8 個(gè) 480G VF（綁定 2 個(gè)核），如下示意圖。

圖2：虛擬化分區方式場(chǎng)景

測試 IO 基本模型如下：

·讀寫(xiě)帶寬（bs=128k, job=1, iodepth=128, read/write）

·讀 IOPS（bs=4k, job=16, iodepth=128, randread）

·寫(xiě) IOPS（bs=4k, job=8, iodepth=64, randwrite）

通過(guò)對盤(pán)進(jìn)行劃分為 2/4/8 個(gè) VF 的場(chǎng)景下，在常規 IO 測試模型下進(jìn)行 SR-IOV 方案驗證。

3 驗證結果

3.1 SSD 性能充分使用，有效提高利用率

本次在 SR-IOV 功能下的不同 VF 場(chǎng)景下總性能與整盤(pán)的性能對比圖如下（以下數據為此次驗證數據，僅供參考）。

*注：總帶寬/總 IOPS=平均性能×VF 數量

圖3：使用 SR-IOV 前后盤(pán)片性能對比圖

從圖 3 可以看到，在此次 SR-IOV 方案驗證下，PF 性能、VF 性能總和與原盤(pán)的性能相比波動(dòng)較低，基本在 5%以?xún)?，?shí)現了對憶聯(lián) UH 系列 SSD 性能充分使用。在云場(chǎng)景下，可以減少用戶(hù)所需PCIe設備數量，有效提升租戶(hù)利用率，實(shí)現云虛擬化業(yè)務(wù)降本增效。

3.2 各場(chǎng)景下 VF 性能穩定，擴展性、靈活性高

為驗證 VF 性能穩定，在劃分 2/4/8 個(gè) VF 的場(chǎng)景下，分別進(jìn)行了測試，結果如下圖。

注：偏差值=（VF 均值-VF 性能）/VF 均值*100%

圖4：SR-IOV 功能下各 VF 與均值偏差圖

數據顯示，各 VF 測試值與 VF 均值基本偏差小于 1%，VF間性能分配較為穩定，擴展性較高，可靈活根據用戶(hù)需求進(jìn)行 VF 數量設置及管理。

3.3 SR-IOV with QoS 性能隔離明顯

將 SSD 拆分成多個(gè)虛擬盤(pán)后，為了避免出現多個(gè)虛擬機同時(shí)運行以及同個(gè)虛擬機同時(shí)對盤(pán)上下業(yè)務(wù)從而出現性能上互相干擾的情況，憶聯(lián)針對 SR-IOV 特性做了針對性能隔離的設計——SR-IOV with QoS，可通過(guò) SSD 芯片對各 VF 進(jìn)行流控，做到性能均衡，保障虛擬SSD盤(pán)的大帶寬、低時(shí)延等特性，滿(mǎn)足云數據中心對于高性能數據存儲的需求。

圖5：具體業(yè)務(wù)場(chǎng)景下 VF 的性能表現

三、憶聯(lián) SR-IOV技術(shù)的演進(jìn)方向

1、SR-IOV 的性能隔離功能進(jìn)一步優(yōu)化

當前憶聯(lián) SR-IOV 使用 NS 對 VF 進(jìn)行邏輯上的數據隔離，但因為所有 VF 都使用公共的Nand Flash 空間，各 VF 間不可避免會(huì )存在性能影響，雖然在 QoS 功能的調度下控制到了一定范圍內，但在部分更為復雜業(yè)務(wù)場(chǎng)景下仍不可避免。為解決這個(gè)問(wèn)題，憶聯(lián)將繼續深耕 SR-IOV 在 SSD 上的應用，進(jìn)一步優(yōu)化性能隔離算法，實(shí)現更好的隔離效果。

2、SR-IOV 的數據安全

虛擬機數據安全至關(guān)重要，當前代次虛擬機數據可以通過(guò) trim 的方式進(jìn)行清除，但對于金融、政府等對數據安全要求高的客戶(hù)仍存在不足，如當 SSD 離開(kāi)數據中心機柜便存在數據被盜取的可能。憶聯(lián)針對虛擬機數據安全的研究方向已初具成果，后續可以做到在虛擬機釋放時(shí)，對應到 SSD 上的物理數據同時(shí)徹底銷(xiāo)毀，為維護數據安全提供保障。

3、SR-IOV 的智能化

憶聯(lián)當前代次的 SR-IOV 具備各 VF 性能統計能力，新一代 SSD 中支持虛擬機性能智能分析，根據性能狀態(tài)進(jìn)行性能配置反饋，支持對虛擬機狀態(tài)進(jìn)行智能診斷并遠程修復等功能。

綜上所述，憶聯(lián) UH8 系列及 UH7 系列 SSD 的 SR-IOV 技術(shù)是可真正做到降本增效、綠色低碳可持續的存儲方案。能有效提高盤(pán)片利用率，減少存儲空間的浪費，實(shí)現節能減排的同時(shí)，憶聯(lián) SR-IOV 方案表現出效果顯著(zhù)的隔離度，更能滿(mǎn)足用戶(hù)在云化環(huán)境下對AI、分布式數據庫、高性能企業(yè)應用等需求。

多年來(lái)，憶聯(lián)持續加大SSD產(chǎn)品的研發(fā)創(chuàng )新投入力度，結合自身在閃存領(lǐng)域的多重優(yōu)勢，通過(guò)硬件技術(shù)與用戶(hù)應用場(chǎng)景結合，不斷迭代更為先進(jìn)的SSD產(chǎn)品助力企業(yè)業(yè)務(wù)系統穩定運行 。憶聯(lián) SR-IOV 方案是對公司研發(fā)創(chuàng )新能力最好的驗證，未來(lái)憶聯(lián)將進(jìn)一步夯實(shí)產(chǎn)品創(chuàng )新能力，為數字經(jīng)濟高質(zhì)量、可持續發(fā)展添磚加瓦。