近年來(lái)，隨著(zhù)公有云的規模逐步擴大，業(yè)界各種大數據業(yè)務(wù)架構日益增多，部分客戶(hù)對IAAS層的存儲性能提出了更高的要求。本地盤(pán)憑借著(zhù)大帶寬、低時(shí)延、免占母機帶寬等天然優(yōu)勢在一些大數據型業(yè)務(wù)場(chǎng)景下備受客戶(hù)青睞。

但隨著(zhù)云和數據中心的單個(gè)CPU核數越來(lái)越大，物理盤(pán)又無(wú)法單獨做拆分，導致單個(gè)虛擬機實(shí)例的核數也隨之增多，每個(gè)虛擬機對應均要占用一個(gè)PCIe槽位。

基于以上問(wèn)題，為了更加靈活的為客戶(hù)提供各種規格的本地盤(pán)，騰訊云硬件導入團隊對多種方案進(jìn)行了討論驗證，并決定從業(yè)界中找尋出可以支持SR-IOV的NVMe SSD，經(jīng)過(guò)對不同供應商的深度調研與比對，最終選出憶聯(lián)進(jìn)行技術(shù)方案的測試和驗證工作。

最終，經(jīng)過(guò)騰訊云服務(wù)器與供應鏈NPI團隊、騰訊云服務(wù)器虛擬化團隊、憶聯(lián)公司一起配合努力，在騰訊云的實(shí)驗室機房進(jìn)行了長(cháng)達兩個(gè)月的全面測試驗證工作，驗證結果表明SR-IOV特性在公有云場(chǎng)景下可以帶來(lái)一定的價(jià)值。

一、SSD之SR-IOV的簡(jiǎn)單介紹

1、SR-IOV

先簡(jiǎn)單介紹一下SR-IOV，SR-IOV（Single-Root I/O Virtualization，單根 I/O虛擬化）是一種基于硬件的虛擬化解決方案，通過(guò)利用PF和VF的屬性，將一個(gè)設備虛擬出多個(gè)PCIe設備，利于虛擬機操作，從而大大減輕宿主機的CPU負荷，提高性能和可伸縮性，幫助系統解決虛擬機SSD盤(pán)的QoS問(wèn)題，可支持更多數量的虛擬機業(yè)務(wù)。

傳統虛擬化系統使用Hypervisor（或者VMM）軟件對虛擬機進(jìn)行管理，軟件層既消耗CPU資源，又有較深的調用棧，使得PCIe設備的性能優(yōu)勢無(wú)法徹底發(fā)揮。而SR-IOV可以實(shí)現多個(gè)虛擬機共享物理資源，且bypass Hypervisor（或者VMM）軟件層，使得虛擬機可以使用到NVMe SSD的高性能。

對比傳統虛擬化系統，在有SR-IOV技術(shù)的云業(yè)務(wù)虛擬機應用場(chǎng)景下，VM可直接與VF通信，不需要Hypervisor接入IO處理，節約 vCPU資源的同時(shí)，又可以實(shí)現不同VF之間性能相互隔離，互不影響。

*傳統虛擬機與SR-IOV虛擬機對比

可以總結得出SR-IOV優(yōu)勢在于：

1，實(shí)現SR-IOV之后，VMM把中斷交給虛擬機處理，提高了I/O性能；

2，虛擬機直接和PCIe設備交互，bypass掉中間的Hypervisor/VMM層，減輕物理主機CPU負擔，使之有能力承載更多虛擬機；

3，SR-IOV虛擬化技術(shù)可以減少客戶(hù)所需PCIe設備數量，進(jìn)而節省PCIe插槽；

4，SR-IOV可以與其他的I/O虛擬化技術(shù)進(jìn)行結合，提供一個(gè)更加完整的兼具高性能和安全性的解決方案；

比如，當前一塊NVMe SSD容量可以達到十幾TB，而IOPS可以達到100萬(wàn)以上，延時(shí)也降低到了微秒級，SR-IOV可以使NVMe SSD直接被上層多個(gè)VM所用，SSD的性能優(yōu)勢也可以直接被上層應用感知到。

如下圖，在虛擬化分區方式場(chǎng)景下，通過(guò)SR-IOV技術(shù)將一片PCIe 4.0 7.68TB SSD（綁定16個(gè)CPU核）配置為2個(gè)容量為3.84TB VF（綁定8個(gè)CPU）。

 *虛擬化分區方式場(chǎng)景

二、憶聯(lián)SSD技術(shù)驗證

1、性能測試驗證

目前，SR-IOV在虛擬化中的應用較為成熟，被廣泛應用于網(wǎng)卡以及對網(wǎng)絡(luò )性能、傳輸速度要求極高的應用場(chǎng)景中。而基于SR-IOV的SSD許多廠(chǎng)商已做過(guò)多種嘗試，比如定義namespace后進(jìn)行上層虛擬機的關(guān)聯(lián)，多家SSD廠(chǎng)商都已支持。但如何做到1塊物理SSD硬盤(pán)基于SR-IOV虛擬化成幾塊虛擬SSD硬盤(pán)后，依然能保障QoS的性能隔離和性能保障，是其中最大的挑戰。

據悉，憶聯(lián)在早期規劃SR-IOV特性時(shí)就從控制器層面做了很多優(yōu)化設計，基于硬件能力規劃了QoS的能力，可以做到多塊虛擬SSD硬盤(pán)之間性能隔離。

為了驗證QoS的能力，我們在1分8的場(chǎng)景下，進(jìn)行了充分的性能測試驗證，從以下數據顯示：

*1分8場(chǎng)景

在SR-IOV特性上，憶聯(lián)的QoS能力依然表現不俗，隔離效果明顯，基本可以做到在業(yè)務(wù)使用場(chǎng)景下相互之間并無(wú)影響，確保使用SR-IOV以后，也依然可以保障虛擬SSD盤(pán)的大帶寬、低時(shí)延。

2、產(chǎn)品化驗證——可靠性驗證

滿(mǎn)足性能的同時(shí)，在產(chǎn)品化過(guò)程中SR-IOV是否可以滿(mǎn)足高可靠性也同樣重要。例如在對命令支持方面，虛擬化SSD盤(pán)和物理SSD盤(pán)有何區別？在物理盤(pán)掉電之后，數據是否會(huì )丟失？物理盤(pán)掉盤(pán)異常之后， SR-IOV配置如何快速保留和恢復？

因此，憶聯(lián)在設計SR-IOV之初，為了保障產(chǎn)品的高性能與高可靠性，對業(yè)務(wù)使用流程上的需求也進(jìn)行了全面的考慮與分析，使得憶聯(lián)的SR-IOV特性得以在各種業(yè)務(wù)流程和異常場(chǎng)景中都有應對的方案和措施。

具體測試流程及驗證結果如下：

*配置流程

通過(guò)以上測試驗證，我們可以比較明確憶聯(lián)的SR-IOV在新盤(pán)接入，盤(pán)片掉電恢復，異常換盤(pán)三種場(chǎng)景下均有比較高的可靠性保障方案。

三、SR-IOV未來(lái)可期

未來(lái)，隨著(zhù)單臺服務(wù)器的CPU核數增加，網(wǎng)卡帶寬增加到100G，單個(gè)SSD硬盤(pán)容量越來(lái)越大，使用SR-IOV提供各種容量規格的本地盤(pán)的必要性也越來(lái)越高。

一方面，本地盤(pán)場(chǎng)景下使用大容量SSD盤(pán)的SR-IOV特性，可以減少小容量NVMe SSD的數量，有效降低單臺服務(wù)器的TCO；

另一方面，使用SR-IOV技術(shù)可以讓底層的NVMe SSD盤(pán)資源跟隨上層碎片化的CPU核數進(jìn)行更靈活的售賣(mài)，提升整體的售賣(mài)率，降低單臺虛擬機的成本。