國產(chǎn)數(shù)據(jù)庫再破世界紀錄!?
10月22日,據(jù)國際事務(wù)處理性能委員會官網(wǎng)信息,在數(shù)據(jù)庫“決策支持類”性能測試TPC-DS中,騰訊云數(shù)據(jù)庫TDSQL以7260萬分、37.52元同時刷新性能和性價比紀錄,登頂世界第一。
TPC針對數(shù)據(jù)庫各項性能推出的基準測試,被譽為數(shù)據(jù)庫界的“奧林匹克”。去年,騰訊云TDSQL已經(jīng)在數(shù)據(jù)庫“事務(wù)處理類”性能測試TPC-C中刷新世界紀錄。這標志著在數(shù)據(jù)庫最核心的兩個應(yīng)用場景下,騰訊云TDSQL都取得了世界最佳性能紀錄,成為“雙榜”第一。

中國工程院院士鄭緯民對此表示,國產(chǎn)數(shù)據(jù)庫多次打破性能瓶頸,體現(xiàn)了國內(nèi)基礎(chǔ)軟件持續(xù)打磨內(nèi)功的決心,以及穩(wěn)定輸出技術(shù)能力的底蘊。
?原國家科技部秘書長、黨組成員、國際歐亞科學(xué)院院士張景安表示,數(shù)據(jù)庫作為信息技術(shù)的基石,其性能與穩(wěn)定性直接關(guān)系到各行各業(yè)的數(shù)字化轉(zhuǎn)型進程。我國軟件企業(yè)在兩項國際標準測試中屢破紀錄,標志著中國在數(shù)據(jù)庫這一核心軟件技術(shù)領(lǐng)域正邁向國際先進水平,有助于增強我國的國際科技競爭力。
計算性能飆升3.8倍,刷新性能與性價比紀錄
TPC-DS是一個針對數(shù)據(jù)庫管理系統(tǒng)分析性能的基準測試。它模擬一個大型零售商銷售數(shù)據(jù)的在線數(shù)據(jù)分析(OLAP)場景,通過 99 個不同類型的分析任務(wù),考察底層數(shù)據(jù)庫的處理耗時、并發(fā)性能和導(dǎo)數(shù)性能等指標,是數(shù)據(jù)庫產(chǎn)品分析處理能力和技術(shù)先進性的金標準。
騰訊云數(shù)據(jù)庫研發(fā)總經(jīng)理潘安群介紹,此次騰訊云參與打榜的TPC-DS 測試數(shù)據(jù)量級達10TB,相當于10億頁電子書,包含銷售紀錄、退貨記錄、時間信息等17項維度的24張表格。其中,最大的一張表高達288億行數(shù)據(jù)。
在海量數(shù)據(jù)中,騰訊云TDSQL需要歷經(jīng)數(shù)據(jù)導(dǎo)入、單任務(wù)計算、多任務(wù)并行計算、數(shù)據(jù)變更等多項測試,關(guān)聯(lián)十幾個“億級”表格,聯(lián)合計算出例如“銷量排名前十的商品從何時開始網(wǎng)店銷量超過門店”等信息。在這個過程中,TPC甚至還會在數(shù)據(jù)變更時隨機銷毀數(shù)據(jù)增加難度。
結(jié)果顯示,騰訊云TDSQL項測試耗時均大幅領(lǐng)先榜單其他廠商,99個復(fù)雜分析任務(wù)單任務(wù)平均耗時4秒以內(nèi),領(lǐng)先榜單第二名一倍;多任務(wù)并行計算平均耗時8秒以內(nèi),領(lǐng)先兩倍,以7260萬分的性能評分,將決策支持類榜單紀錄提升3.8倍。
在復(fù)雜任務(wù)處理能力大幅提升的基礎(chǔ)上,TDSQL將每1000評分的價格相比同類產(chǎn)品減少1/3,同時刷新TPC-DS性能與性價比紀錄。
三大自研技術(shù)能力,突破性能瓶頸?
聯(lián)機分析處理(OLAP)場景下,如何充分發(fā)揮每個算力單元的極致潛力,以及確保每個任務(wù)之間不等待和阻塞,一直是數(shù)據(jù)庫領(lǐng)域的重點攻關(guān)方向。
潘安群介紹,騰訊云TDSQL在分布式交互、并行計算、單核極致性能三個方向深度自研,保障了計算從多核到多進程再到多節(jié)點,能充分并行無阻塞運行,實現(xiàn)了性能的大幅提升。
TDSQL通過自研MPP執(zhí)行框架,優(yōu)化了主流 OLAP 數(shù)據(jù)庫應(yīng)用“pull”模型存在的數(shù)據(jù)傳輸“擁堵”瓶頸,保證所有計算任務(wù)全速順暢運行,通用性能提升40%。
而在性能無法線性跟隨CPU核數(shù)增加的業(yè)界難題上,TDSQL通過自研并行執(zhí)行框架,徹底去除并行進程間阻塞依賴,CPU 利用率提高至 95% 以上,能充分利用多核資源。
對于單核計算效率,TDSQL團隊也有著極致追求。在以上并行框架的基礎(chǔ)上,TDSQL 自研了列式存儲和向量化執(zhí)行引擎,在算法、結(jié)構(gòu)、新一代CPU結(jié)合等方面深度優(yōu)化單核任務(wù)執(zhí)行效率,實現(xiàn)單核效率提升1倍以上。
雙榜第一,為產(chǎn)業(yè)發(fā)展筑牢底座
數(shù)據(jù)庫世界性能榜單第一的每次易主,都標志著數(shù)據(jù)處理技術(shù)的向前推進。
去年,騰訊云數(shù)據(jù)庫TDSQL順利通過TPC-C基準測試,性能達到每分鐘8.14億筆交易(tpmC),打破世界紀錄。期間,TDSQL持續(xù)穩(wěn)定運行這一超大規(guī)模集群,實現(xiàn)8小時無抖動,保障了超過8600億總事務(wù)、4萬億條訂單詳細信息不出錯。
“TPC-C的特點是多、穩(wěn)、快、高頻小任務(wù),考驗的是高并發(fā)場景下數(shù)據(jù)庫的極致性能和穩(wěn)定性;TPC-DS特點則是少、快、大、低頻大任務(wù),考驗的是復(fù)雜任務(wù)場景下數(shù)據(jù)庫的綜合能力。在兩個核心場景下,騰訊云TDSQL都實現(xiàn)了性能紀錄的極大突破。”潘安群說。
雙榜第一也為產(chǎn)業(yè)發(fā)展筑牢了更強的基座。據(jù)騰訊云數(shù)據(jù)庫總經(jīng)理王義成介紹,騰訊云數(shù)據(jù)庫TDSQL已形成了金融級分布式、云原生、分析型等多引擎融合的完整數(shù)據(jù)庫產(chǎn)品體系,能高效應(yīng)對OLTP、OLAP、HTAP等多樣化的計算場景,滿足企業(yè)多樣化的國產(chǎn)數(shù)據(jù)管理需求。
在騰訊云TDSQL的助力下,數(shù)字廣東粵省事實現(xiàn)流程再造和決策優(yōu)化,實現(xiàn)民眾少跑路,數(shù)據(jù)多跑路;“第七次全國人口普查”以“OLTP+OLAP”技術(shù)融合架構(gòu)支持了十億級用戶數(shù)據(jù)、七百萬個終端和百萬級峰值TPS。
除此之外,這些優(yōu)化能力還應(yīng)用在了騰訊云大數(shù)據(jù)TChouse(云數(shù)據(jù)倉庫)上,與芯片、服務(wù)器、操作系統(tǒng)、云底座一同構(gòu)建起核心領(lǐng)域自研產(chǎn)品體系,已具備軟硬一體的全棧融合創(chuàng)新能力。
雷峰網(wǎng)(公眾號:雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。