以云計算為核心技術(shù)的云數據中心正成為一種具備高技術(shù)、高算力、高能效、高安全等特征的新型數據中心，可為用戶(hù)提供全方位、多元化、便捷的軟硬件服務(wù)。隨著(zhù)AI、5G和物聯(lián)網(wǎng)等新興技術(shù)的興起，云數據中心業(yè)務(wù)逐漸多樣化，其基礎設施建設由以算力為中心向以數據為中心轉變，同時(shí)對數據存儲提出了更高要求。分布式存儲作為云數據中心的應用虛擬化技術(shù)，可提供塊存儲、文件存儲、對象存儲等服務(wù)，但由于其系統在內部軟件處理、網(wǎng)絡(luò )傳輸等方面易造成性能的額外耗費，在IO訪(fǎng)問(wèn)時(shí)延上無(wú)法達到本地盤(pán)效果，用戶(hù)使用體驗較差，故在A(yíng)I分析、大規模分布式數據庫、高性能應用cache等場(chǎng)景下，本地盤(pán)仍然是存儲主力。然而，本地盤(pán)仍存在如靈活度低、利用率不高等問(wèn)題，為填補此部分空白，提出了“SR-IOV+SSD”的方案。
作為虛擬化直通技術(shù)的SR-IOV早已在網(wǎng)絡(luò )、GPU異構算力等場(chǎng)景得到廣泛采用，隨著(zhù)SSD容量、盤(pán)片性能呈指數級提升，使得SR-IOV在SSD的應用也成為可能。通過(guò)SR-IOV虛擬化技術(shù)，可將單個(gè)SSD虛擬化成多個(gè)SSD硬盤(pán)，并直通到虛擬機內部使用，通過(guò)搭配高精度的QoS能力，虛擬機可以獲得近似本地SSD硬盤(pán)性能，節約了Hypervisor虛擬化層對存儲設備虛擬計算所帶來(lái)的算力損耗。結合云平臺，SR-IOV方案可實(shí)現高性能存儲資源的動(dòng)態(tài)調配等，極大滿(mǎn)足云化環(huán)境下AI、分布式數據庫、高性能企業(yè)應用等場(chǎng)景對存儲靈活性的訴求。
SR-IOV是由國際組織PCI-SIG組織定義的PCIe規范的擴展規范，旨在消除VMM對虛擬化I/O操作的干預，提高數據傳輸性能，為VM（虛擬機）提供獨立的內存空間、終端、DMA數據流，具備SR-IOV功能的I/O設備基于PCIe規范，可管理、創(chuàng )建多個(gè)VF（virtual function）。PCIe PF（physical function）是PCIe總線(xiàn)上的主要實(shí)體，一個(gè)PCIe設備具有一個(gè)或多個(gè)PF，PF設置VF數量，全局啟動(dòng)或停止VF，VF可以不通過(guò)VMM的干預完成數據的訪(fǎng)問(wèn)和轉移。
SR-IOV功能下，原本是VMM承擔的中斷交由虛擬機直接處理，提升了設備I/O性能，同時(shí)虛擬機可以直接與PCIe設備進(jìn)行交互，大大減輕了物理主機CPU的負擔，使其可承擔更多的虛擬機設備。另外，通過(guò)SR-IOV功能，可以減少PCIe設備的需求量，節省PCIe插槽，使得硬件資源可以更加充分使用。
基于以上優(yōu)勢，多家SSD廠(chǎng)商開(kāi)始布局SR-IOV，目前憶聯(lián)已領(lǐng)先在UH8系及UH7系產(chǎn)品上成功實(shí)現SR-IOV功能應用。
? 服務(wù)器：自研服務(wù)器TP6520
? CPU：2* Intel(R) Xeon(R) Gold 6336Y CPU @ 2.40GHz 24cores/48threads
? 內存：16*32GB 3200MT/S DDR4
? 系統盤(pán)：1*960G 12Gbps
? SSD：1*UH8系 3.84T
? HBA卡：1*MegaRAID 9440-8i
? NIC：2* SC332
? 操作系統：CentOS Linux release 8.3.2011
? 內核：Linux 4.18.0-240.el8.x86_64
? 測試工具：2.6及以上版本
? QEMU-KVM：2.12
? NVMe開(kāi)源驅動(dòng)：1.11.1
? umtool工具：1.0.1.5
本次驗證，在虛擬化分區方式的場(chǎng)景下，通過(guò)SR-IOV技術(shù)將一片PCIe 4.0 3.84TB SSD(綁定16個(gè)CPU核)配置為2個(gè)容量為1.92TB VF(綁定8個(gè)CPU)，4個(gè)960G VF（綁定4個(gè)核），8個(gè)480G VF（綁定2個(gè)核），如下示意圖。
測試IO基本模型如下：
? 讀寫(xiě)帶寬（bs=128k,job=1,iodepth=128,read/write）
? 讀IOPS（bs=4k,job=16,iodepth=128,randread）
? 寫(xiě)IOPS（bs=4k,job=8,iodepth=64,randwrite）
通過(guò)對盤(pán)進(jìn)行劃分為2/4/8個(gè)VF的場(chǎng)景下，在常規IO測試模型下進(jìn)行SR-IOV方案驗證。
本次在SR-IOV功能下的不同VF場(chǎng)景下總性能與整盤(pán)的性能對比圖如下（以下數據為此次驗證數據，僅供參考）。
注：總帶寬/總IOPS=平均性能×VF數量
圖1：使用SR-IOV前后盤(pán)片性能對比圖
從圖1可以看到，在此次SR-IOV方案驗證下，PF性能、VF性能總和與原盤(pán)的性能相比波動(dòng)較低，基本在5%以?xún)?，?shí)現了對憶聯(lián)UH系列SSD性能充分使用，有效提高了SSD利用率。
為驗證VF性能穩定，在劃分2/4/8個(gè)VF的場(chǎng)景下，分別進(jìn)行了測試，結果如下圖。
注：偏差值=（VF均值-VF性能）/VF均值*100%
圖2：SR-IOV功能下各VF與均值偏差圖
數據顯示，各VF測試值與VF均值基本偏差小于1%，VF間性能分配較為穩定，擴展性較高，可靈活根據用戶(hù)需求進(jìn)行VF數量設置及管理。
當將SSD拆分成多個(gè)虛擬盤(pán)后，為了避免出現在使用SR-IOV進(jìn)行虛擬化時(shí)出現多個(gè)虛擬機同時(shí)運行，同時(shí)對盤(pán)上下業(yè)務(wù)，出現性能上相互干擾，憶聯(lián)特針對SR-IOV特性做了針對性能隔離的設計——SR-IOV with QoS，可通過(guò)SSD芯片對各VF進(jìn)行流控，做到性能均衡。
圖3：具體業(yè)務(wù)場(chǎng)景下VF的性能表現
為驗證QoS功能，設置bs=128,qd=128,Thread=8,Read%=70%場(chǎng)景，對VF的IOPS、帶寬和時(shí)延進(jìn)行了對比。通過(guò)圖2可以看到，各VF在IOPS和帶寬上性能相近，時(shí)延較低，基本可以做到在日常業(yè)務(wù)使用場(chǎng)景下相互之間無(wú)影響，確保使用SR-IOV以后，也依然可以保障虛擬SSD盤(pán)的高性能、低時(shí)延，滿(mǎn)足高效存儲數據的需求。
當前憶聯(lián)SR-IOV使用NS對VF進(jìn)行邏輯上的數據隔離，但因為所有VF都使用公共的Nand flash空間，各VF間不可避免會(huì )存在性能影響，雖然在QoS功能的調度下控制到了一定范圍內，但在部分更為復雜業(yè)務(wù)場(chǎng)景下仍不可避免。為解決這個(gè)問(wèn)題，憶聯(lián)將繼續深耕SR-IOV在SSD上的應用，進(jìn)一步優(yōu)化性能隔離算法，實(shí)現更好的隔離效果。
虛擬機數據安全至關(guān)重要，當前代次虛擬機數據可以通過(guò)trim的方式進(jìn)行清除，但對于金融、政府等對數據安全要求高的客戶(hù)仍存在不足，如當SSD離開(kāi)數據中心機柜便存在數據被盜取的可能。憶聯(lián)針對虛擬機數據安全的研究方向已初具成果，后續可以做到在虛擬機釋放時(shí)，對應到SSD上的物理數據同時(shí)徹底銷(xiāo)毀，為維護數據安全提供保障。
憶聯(lián)當前代次的SR-IOV具備各VF性能統計能力，新一代SSD中支持虛擬機性能智能分析，根據性能狀態(tài)進(jìn)行性能配置反饋，支持對虛擬機狀態(tài)進(jìn)行智能診斷并遠程修復等功能。
本次驗證清晰顯示了憶聯(lián)UH8系及UH7系SSD 的SR-IOV方案可有效提高盤(pán)片利用率，減少存儲空間的浪費，實(shí)現節能減排、環(huán)境友好，助力綠色數據中心的發(fā)展。同時(shí)，憶聯(lián)SR-IOV方案中PF、各VF間性能穩定、隔離效果顯著(zhù)，可隨著(zhù)場(chǎng)景變化進(jìn)行VF策略制定，應用靈活，滿(mǎn)足用戶(hù)在云化環(huán)境下AI、分布式數據庫、高性能企業(yè)應用等，提高資源利用率，降低TCO。對于建設綠色云數據中心，憶聯(lián)SR-IOV方案是一個(gè)可真正做到降本增效、綠色低碳可持續的存儲方案。
地址：深圳市南山區記憶科技后海中心B座19樓
電話(huà)：0755-2681 3300
郵箱：support@unionmem.com
