雙十二的結束，意味著(zhù)2023年的所有大促已落下帷幕。雙十一全網(wǎng)11386億元的銷(xiāo)售額背后是消費的狂歡，更是一場(chǎng)場(chǎng)數據洪峰，單天貓平臺在雙十一期間累計訪(fǎng)問(wèn)用戶(hù)數就已超8億，數據訪(fǎng)問(wèn)的壓力不言而喻。

面對瞬時(shí)流量高并發(fā)、海量數據查詢(xún)等應用場(chǎng)景，固態(tài)硬盤(pán)憑借其高吞吐量、低時(shí)延等特征逐漸成為大數據時(shí)代下數據存儲的重要載體，是當前本地部署的數據倉庫產(chǎn)品重要搭載硬件，可滿(mǎn)足電商大促場(chǎng)景下大規模數據的存儲和查詢(xún)需求。

為更好應對含電商在內的數據密集型行業(yè)對高性能、高可靠存儲的要求，憶聯(lián)特聯(lián)合國內大數據倉儲的佼佼者——南大通用（下稱(chēng)：GBase）共同探索大數據時(shí)代下數字化轉型存儲新方案。

一、GBase 8a MPP Cluster簡(jiǎn)介

南大通用大規模分布式并行數據庫集群系統（簡(jiǎn)稱(chēng)GBase 8a MPP Cluster），是在GBase 8a系列存儲數據庫基礎上開(kāi)發(fā)的一款Shared Nothing架構的分布式并行數據庫集群，具備高性能、高可用、高擴展等特性，可為各種規模數據管理提供高性?xún)r(jià)比的通用計算平臺，廣泛用于支撐各類(lèi)數據倉庫系統、BI系統和決策支持系統。

圖1：GBase 8a MPP Cluster技術(shù)架構圖

GBase 8a MPP Cluster采用MPP+Shared Nothing的分布式聯(lián)邦架構，節點(diǎn)間通過(guò)TCP/IP網(wǎng)絡(luò )進(jìn)行通信，每個(gè)節點(diǎn)采用本地磁盤(pán)來(lái)存儲數據。GBase 8a MPP Cluster系統中的每一個(gè)節點(diǎn)都是相對獨立的、自給的，整個(gè)系統具有非常強的擴展性，可從幾個(gè)節點(diǎn)擴展到上百節點(diǎn)，滿(mǎn)足業(yè)務(wù)規模增長(cháng)的要求。

二、憶聯(lián)在GBase 8a MPP方案下的驗證

1●驗證環(huán)境

本次驗證硬件配置:

本次驗證軟件配置:

本次驗證組網(wǎng)規劃:

圖2：本次GBase 8a MPP組網(wǎng)規劃架構圖

2●驗證方法

?步驟1：將6塊SAS UM511a配置Raid5。

?步驟2：創(chuàng )建數據庫和表使用TPC-H工具評估數據庫分析處理能力，需要提前創(chuàng )建數據庫和TPC-H內置的8張表；使用TPC-DS工具評估數據庫分析處理能力，提前創(chuàng )建數據庫和TPC-DS內置的25張表。

?步驟3：參數調優(yōu)根據GBase建議進(jìn)行相關(guān)參數調優(yōu)。

?步驟4：數據生成TCH-H通過(guò)dbgen工具可以通過(guò)設置參數生成所需的測試數據，命令參數為/dbgen -C 10 -S 1 -s 3000 –vf；TPC-DS通過(guò)dsdgen工具可以通過(guò)設置參數生成所需的測試數據，命令參數為./dsdgen -scale 3000 -dir testdata -force -parallel 10 -child 1。

?步驟5：數據加載數據導入時(shí)，在GBASE集群本地節點(diǎn)搭建FTP服務(wù)器，通過(guò)FTP加載數據。當一個(gè)表包含多個(gè)數據文件時(shí)，將單表的多個(gè)數據文件集成一個(gè)導入語(yǔ)句中，以單表為粒度分別加載測試數據至8張數據庫表中。

?步驟6：SQL執行獨立的客戶(hù)端，通過(guò)業(yè)務(wù)平面網(wǎng)絡(luò )與GBase集群通信，使用gccli工具執行TPC-H 22個(gè)SQL用例，

參考命令如下：

/home/GBase/gccli_install/gcluster/server/bin/gccli -h 10.28.100.38 -uroot -Dtpch -vvv < query_1.sql。

3●驗證結果

本次在GBase 8a MPP場(chǎng)景下驗證結果如下：

①、憶聯(lián)SAS SSD在Raid邏輯卷帶寬性能測試下的表現：

圖3：憶聯(lián)SAS盤(pán)在Raid邏輯卷帶寬性能測試下的表現

在本次測試中，將6個(gè)SAS SSD配置Raid5，12塊SATA配置Raid50，在Server主機使用FIO測試工具進(jìn)行128KB順序讀寫(xiě)帶寬性能壓測。從圖3結果表現可知，SAS SSD讀寫(xiě)帶寬更優(yōu)，讀帶寬比SATA有19.6%左右提升，寫(xiě)帶寬提升34%左右，展現了SAS SSD在Raid邏輯卷帶寬下的絕對優(yōu)勢，可為高并發(fā)的業(yè)務(wù)場(chǎng)景提供穩定、順暢的數據服務(wù)體驗。

②、憶聯(lián)SAS SSD在單盤(pán)故障降級&重構讀性能下的表現：

圖4：憶聯(lián)SAS SSD在單盤(pán)故障降級&重構讀性能下的表現

單盤(pán)降級讀性能是指RAID組在單盤(pán)故障或拔出情況下的RAID組邏輯卷讀業(yè)務(wù)性能，重構性能是指單盤(pán)故障后，RAID同時(shí)進(jìn)行熱備盤(pán)數據重構和業(yè)務(wù)下發(fā)時(shí)的業(yè)務(wù)側性能。本次通過(guò)將6塊憶聯(lián)SAS SSD配置Raid5后，在一塊SSD故障條件下進(jìn)行測試。

如圖4所示，不管是在單盤(pán)降級讀性能還是在重構讀帶寬條件下，SAS盤(pán)的表現都優(yōu)于SATA，單盤(pán)降級讀性能優(yōu)于SATA 22.7%左右，重構讀帶寬性能上比SATA最大有38.4%左右的提升，滿(mǎn)足在各種復雜場(chǎng)景下業(yè)務(wù)不中斷、數據不丟失的超高可用性要求。

③、憶聯(lián)SAS SSD在TPC-DS場(chǎng)景下的表現：

圖5：TPC-DS場(chǎng)景下憶聯(lián)SAS SSD的表現

TPC-DS測試是通過(guò)FTP協(xié)議加載數據到GBase數據庫表。從圖5可見(jiàn)，在相同物理硬件環(huán)境下，SAS SSD不管是在數據導入還是在SQL用例執行時(shí)間上所用時(shí)間都略低于SATA SSD，具備一定時(shí)間優(yōu)勢，通過(guò)降低系統延遲，提供更快的數據訪(fǎng)問(wèn)速度來(lái)提升用戶(hù)體驗。

④、憶聯(lián)SAS SSD在TCP-H場(chǎng)景下的表現

圖6：TPC-H場(chǎng)景下憶聯(lián)SAS SSD的表現

TPC-H測試是通過(guò)FTP協(xié)議加載數據到GBase數據庫表。圖6展現了SAS SSD以及SATA SSD在TPC-H測試下的表現，其中SAS SSD總用時(shí)略?xún)?yōu)于SATA SSD，數據導入時(shí)間優(yōu)于SATA約6%，對SQL用例執行時(shí)間上相比 SATA SSD降低了3%左右，可為業(yè)務(wù)系統提供快速、可靠的決策支持服務(wù)。

總結：本次驗證充分體現了憶聯(lián)SAS SSD在GBase 8a MPP場(chǎng)景下的性能優(yōu)勢，可有效支持業(yè)務(wù)高效開(kāi)展，具備單盤(pán)帶寬更高，盤(pán)故障重構、降級性能更優(yōu)等特點(diǎn)，不僅可以幫助企業(yè)節約硬件采購成本，也可幫助互聯(lián)網(wǎng)數據中心、運營(yíng)商解決海量數據下的大數據存儲和計算問(wèn)題，高效處理海量結構化數據。

憶聯(lián)深耕固態(tài)硬盤(pán)領(lǐng)域多年，已發(fā)布多款高性能、高可靠產(chǎn)品，具備應對復雜的業(yè)務(wù)環(huán)境和數據庫挑戰的能力，可滿(mǎn)足行業(yè)用戶(hù)海量數據處理需求。未來(lái)，憶聯(lián)將持續聯(lián)合GBase共同打造數字化轉型背景下的存儲新方案。