11月19日,2024年世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)在烏鎮(zhèn)發(fā)布,騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)憑借其卓越的技術(shù)積累、創(chuàng)新的關(guān)鍵技術(shù)和廣泛的應(yīng)用場景,榮獲本年度領(lǐng)先科技獎(jiǎng)。
騰訊Angel 機(jī)器學(xué)習(xí)平臺(tái),突破了萬億級模型分布式訓(xùn)練和推理以及大規(guī)模應(yīng)用部署等難題,率先實(shí)現(xiàn)大模型技術(shù)從底層硬件到關(guān)鍵軟件技術(shù)的自主研發(fā),在業(yè)務(wù)場景廣泛應(yīng)用,顯著推動(dòng)實(shí)體產(chǎn)業(yè)和數(shù)字經(jīng)濟(jì)發(fā)展,提升社會(huì)效率。
世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng)由世界互聯(lián)網(wǎng)大會(huì)主辦,旨在獎(jiǎng)勵(lì)全球年度最具領(lǐng)先性的互聯(lián)網(wǎng)科技成果,倡導(dǎo)互聯(lián)網(wǎng)技術(shù)國際交流合作。本年度共有20個(gè)具有國際代表性的項(xiàng)目獲獎(jiǎng),整體入選率僅為7.4%,涵蓋類腦計(jì)算、具身智能、6G、大數(shù)據(jù)、高性能芯片、AI機(jī)器學(xué)習(xí)平臺(tái)等前沿領(lǐng)域。
?
騰訊公司副總裁蔣杰?
騰訊公司副總裁蔣杰現(xiàn)場表示,獲得本次世界互聯(lián)網(wǎng)大會(huì)領(lǐng)先科技獎(jiǎng),是對騰訊在大模型相關(guān)自研技術(shù)的認(rèn)可。在大模型時(shí)代,模型參數(shù)超過萬億,訓(xùn)練數(shù)據(jù)超過十萬億,如此龐大的規(guī)模,給模型訓(xùn)練和推理帶來巨大挑戰(zhàn),騰訊全鏈路自研的Angel機(jī)器學(xué)習(xí)平臺(tái)有效應(yīng)對這些挑戰(zhàn),實(shí)現(xiàn)多個(gè)方面的性能效率提升。未來,騰訊也將繼續(xù)投入底層技術(shù)自主研發(fā),并通過開源共享,推動(dòng)技術(shù)創(chuàng)新升級,讓智能技術(shù)走入千行百業(yè)。
?
騰訊 Angel 機(jī)器學(xué)習(xí)平臺(tái)針對萬億規(guī)模大模型分布式訓(xùn)練和推理、應(yīng)用部署難的挑戰(zhàn),在網(wǎng)絡(luò)互聯(lián)、框架效率、平臺(tái)規(guī)模三方面實(shí)現(xiàn)了突破。
在通信方面,從網(wǎng)卡到交換機(jī),再到路由協(xié)議,騰訊自研的RDMA網(wǎng)絡(luò)實(shí)現(xiàn)了集群高速互聯(lián),單節(jié)點(diǎn)帶寬達(dá)到3.2T,相比于同類領(lǐng)先產(chǎn)品,性能提升30%,成本降低70%。
在效率方面,自研了訓(xùn)練/推理框架,提出顯存加主存的一體化機(jī)制,實(shí)現(xiàn)多維并行和算子優(yōu)化,相比開源框架,訓(xùn)練性能提升2.6倍,推理速度提升2.3倍。
在規(guī)模方面, 實(shí)現(xiàn)了單任務(wù)萬卡的線性擴(kuò)展,GPU集群加速比從50%提升到99%。
?
作為智能時(shí)代的基礎(chǔ)設(shè)施,憑借扎實(shí)的技術(shù)積累,騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)項(xiàng)目技術(shù)成果此前也多次登頂國際權(quán)威領(lǐng)域榜單,獲得 20 余項(xiàng)國際競賽冠軍。Angel 平臺(tái)還是中國首個(gè)從 Linux Foundation 畢業(yè)的頂級 AI 開源項(xiàng)目,被評為 2019 年度最受歡迎中國開源軟件,平臺(tái)吸引了眾多外部開發(fā)者和企業(yè)用戶,促進(jìn)了技術(shù)的廣泛應(yīng)用和產(chǎn)業(yè)的協(xié)同發(fā)展。2024年3月,騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)還獲得了2023中國電子學(xué)會(huì)科技進(jìn)步一等獎(jiǎng)。
騰訊基于 Angel 機(jī)器學(xué)習(xí)平臺(tái)全鏈路自研的混元大模型,在中國眾多頭部 AI 研發(fā)企業(yè)中率先采用混合專家模型 (MoE)結(jié)構(gòu),模型規(guī)模突破萬億,處于中國大模型第一梯隊(duì)。11月初,騰訊推出業(yè)界最大參數(shù)規(guī)模的開源MoE模型混元Large,總參數(shù)量 389B,激活參數(shù)量 52B ,上下文長度高達(dá)256K,其訓(xùn)練和推理均基于騰訊Angel機(jī)器學(xué)習(xí)平臺(tái)。

目前,基于騰訊 Angel 機(jī)器學(xué)習(xí)平臺(tái),騰訊混元大模型已經(jīng)構(gòu)建了從0.5B到70B不同尺寸的通用模型和領(lǐng)域模型,涵蓋了語言模型、多模態(tài)理解模型和多模態(tài)生成模型等。這些模型已被應(yīng)用在超過700個(gè)騰訊業(yè)務(wù)場景,展現(xiàn)了其強(qiáng)大的應(yīng)用潛力和價(jià)值。對外,Angel 平臺(tái)通過騰訊云輸出,廣泛應(yīng)用在大模型、廣告、推薦、社交、金融等領(lǐng)域,服務(wù)30萬行業(yè)客戶,助力實(shí)體行業(yè)進(jìn)行數(shù)智化升級。
雷峰網(wǎng)(公眾號:雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。