生成式AI時代，訓(xùn)練和托管大模型都會產(chǎn)生大量成本開銷，特別是算力成本。
近日舉辦的火山引擎2024 FORCE原動力大會上，英特爾與火山引擎共同發(fā)布搭載英特爾至強6性能核處理器的第四代通用計算型實例 g4il。
“g4il云實例相較于GPU實例，資源門檻直降50%?！?/strong>英特爾公司市場營銷集團(tuán)副總裁、中國區(qū)云與行業(yè)解決方案和數(shù)據(jù)中心銷售部總經(jīng)理梁雅莉表示，“英特爾聯(lián)合火山引擎提供了預(yù)驗證、優(yōu)化的模塊組件、集成化鏡像，也實現(xiàn)了一鍵部署，優(yōu)化了用戶體驗?！?/p> 英特爾公司市場營銷集團(tuán)副總裁、中國區(qū)云與行業(yè)解決方案和數(shù)據(jù)中心銷售部總經(jīng)理梁雅莉 火山引擎計算產(chǎn)品負(fù)責(zé)人王睿說，“對于希望利用AI實現(xiàn)業(yè)務(wù)持續(xù)增長獲得新機遇的企業(yè)用戶來說，上云是解決這個問題的最優(yōu)解?！?/strong> 作為AI基礎(chǔ)設(shè)施重要的提供商，英特爾和火山引擎共同發(fā)布的第四代通用計算型實例 g4i無疑是AI應(yīng)用開發(fā)者理想的選擇，也是激發(fā)AI創(chuàng)新的基石。 關(guān)鍵問題在于，到底能降低多少成本？安全性如何保證？Coze-AIPC又能帶來怎樣的從云到端的AI解決方案？ CPU相比GPU云實例資源門檻大降50% 火山引擎第四代通用計算型實例g4il是基于英特爾最新一代服務(wù)器CPU至強6性能核。 至強6性能核主要用于通用計算、數(shù)據(jù)Web服務(wù)、科學(xué)計算、AI等場景。性能相比上一代平均提高超過2倍，尤其是科學(xué)計算，有超過2.5倍的提高，對AI大語言模型甚至有超過3倍的性能提高。至強6性能核處理器在性能大幅提升的同時還兼顧了能效，相比上代有1.5倍甚至更高。 需要強調(diào)的是，火山引擎第四代通用計算型實例 g4i采用的定制版至強6性能核處理器。 “基于至強6性能核的優(yōu)勢，我們和火山引擎深入的合作，定制了至強6 CPU，有針對性地優(yōu)化了性能、TCO，盡量滿足火山引擎的需求，充分發(fā)揮CPU的優(yōu)勢?！庇⑻貭柤夹g(shù)專家在火山引擎2024 FORCE原動力大會英特爾專場分論壇上表示。 除了英特爾至強6性能核處理器GNR，火山引擎全新發(fā)布的第四代通用計算型實例g4il還有火山引擎自研的DPU，實現(xiàn)了計算、存儲和網(wǎng)絡(luò)性能的全面升級。 相比上一代云實例g3il，第四代實例g4il網(wǎng)絡(luò)和存儲性能提升了100%，IOPS和PPS性能提升30%以上，視頻轉(zhuǎn)碼、Web應(yīng)用、和數(shù)據(jù)庫應(yīng)用方面分別實現(xiàn)了17%、19%和20%的性能提升。 對于AI開發(fā)者，云實例的高速內(nèi)存也很關(guān)鍵。 英特爾在至強6性能核處理器上新增了高速內(nèi)存MRDIMM，同時新增了支持AMX FP16指令集，更大的內(nèi)存帶寬疊加更強的矩陣運算能力，能大幅提升AI推理速度。 “英特爾至強6性能核處理器GNR加上MRDIMM，實測的吞吐性能相比英特爾EMR CPU加上通用型DDR5內(nèi)存提升高達(dá)80%?！蓖躅Ｖ赋?，“對比單卡的A10和L20 GPU測試結(jié)果，也印證了英特爾至強6的AI推理能力的優(yōu)勢很大。” 得益于單機CPU核密度相比上一代翻倍的提升，計算新架構(gòu)在性價比上也有很大提升。 同時，英特爾至強處理器也為火山引擎帶來了更高的數(shù)據(jù)存儲效率和可靠性。 第四代實例g4il上進(jìn)一步豐富了實例的功能，比如說新增了大包傳輸能力（Jumbo Frame），機密計算能力（TDX），以及支撐最新云盤吞吐類型SSD。 性價比通過云的方式能展現(xiàn)出更大優(yōu)勢。 云最大的特點就是彈性，火山引擎通過海量內(nèi)外資源共池可以滿足企業(yè)在托管AI技術(shù)、技術(shù)智算化轉(zhuǎn)型過程當(dāng)中的算力需求。 一方面通過共池，可以把超大規(guī)模的資源復(fù)用帶來的議價能力、成本紅利釋放給火山引擎的終端用戶。另一方面，通過超大規(guī)模集團(tuán)內(nèi)外共池帶來的議價能力，可以把成本紅利返還給客戶。 “我們的彈性能力，每天的峰值可以達(dá)到100萬核，彈性效率可以實現(xiàn)分鐘級別10萬核?！蓖躅Ｕf，“結(jié)合集團(tuán)內(nèi)外潮汐復(fù)用特點，我們對外提供了業(yè)界首創(chuàng)的彈性售賣方式——彈性預(yù)約實例ESI。相比之前的按需按量來講，成本最多降低33%以上。”? 機密計算保障云上大模型數(shù)據(jù)安全 激發(fā)生成式AI的應(yīng)用爆發(fā)，不僅要門檻低，還需要足夠穩(wěn)定和安全。 “火山引擎采用了雙單路創(chuàng)新服務(wù)器架構(gòu)，降低了整體的爆炸半徑，有力保障了產(chǎn)品穩(wěn)定性?！蓖躅＿€介紹。 同時，火山引擎云存儲引入了至強處理器的英特爾數(shù)據(jù)保護(hù)與壓縮加速技術(shù)（英特爾QAT），提升了數(shù)據(jù)壓縮和解壓縮效率，實現(xiàn)優(yōu)于軟件LZ4算法的壓縮率和更低時延。 QAT硬件加速生成CRC32校驗碼，確保數(shù)據(jù)完整性，并支持AES-XTS模式的對稱加密，增強數(shù)據(jù)可靠性。 可靠性之外，安全性也是上云的痛點。 隨著大模型應(yīng)用產(chǎn)業(yè)化深入，無論是模型的訓(xùn)練和調(diào)優(yōu)，還是模型推理服務(wù)部署，都越來越多依賴于更高質(zhì)量、更高價值的敏感的數(shù)據(jù)信息，比如行業(yè)數(shù)據(jù)庫或企業(yè)數(shù)據(jù)庫。 “如今，數(shù)據(jù)安全已經(jīng)成為大模型產(chǎn)業(yè)化應(yīng)用進(jìn)程中面臨的一大挑戰(zhàn)?！庇⑻貭柤夹g(shù)專家表示。 RAG（檢索增強生成）包含了兩個技術(shù)，一個是基于知識庫、數(shù)據(jù)庫的內(nèi)容檢索，另一個是基于大模型的內(nèi)容生成。RAG通用引用外部知識庫或者企業(yè)知識庫，讓大模型產(chǎn)生內(nèi)容時可以提升生成結(jié)果質(zhì)量和準(zhǔn)確性。 不過在企業(yè)部署RAG服務(wù)時，會對信息是否被竊取有所疑慮。基于英特爾TDX構(gòu)建的機密虛擬化實例，無論是RAG應(yīng)用中的信息提取處理流程還是數(shù)據(jù)庫流程，還是模型生成流程，都可以在不改變應(yīng)用程序中間框架前提下，直接訪問機密虛擬機，實現(xiàn)云中的隔離和保護(hù)，用戶使用RAG部署過程保證數(shù)據(jù)安全。 英特爾已經(jīng)和火山引擎緊密配合，基于英特爾至強處理器TDX技術(shù)，推出了g3i機密計算實例，用戶既可以享受到云計算的便捷性、經(jīng)濟性，同時確保自己數(shù)據(jù)在云中用得放心。 考慮到機密計算技術(shù)棧比較復(fù)雜，為了讓用戶可以針對自己感興趣或者是關(guān)注的業(yè)務(wù)直接防盜云上進(jìn)行原形驗證，英特爾推出了開源項目CC-Zoo。 “CC-Zoo主動和云服務(wù)商提供的基礎(chǔ)環(huán)境進(jìn)行了對接和適配，包括火山引擎的g3i實例?！庇⑻貭柤夹g(shù)專家表示，“用戶可以左手從云服務(wù)商購買機密計算的實例，右手去GitHub上下載CC-Zoo方案進(jìn)行原形驗證，確認(rèn)信息沒有被盜取。” 針對云上的AI場景，火山引擎打造了端到端安全解決方案。 在機密計算云服務(wù)器之上，火山引擎提供了機密容器、密鑰管理、基線管理、遠(yuǎn)程證明和安全RAG等豐富的安全能力和服務(wù)，為AI應(yīng)用當(dāng)中的訓(xùn)練推理，前后端數(shù)據(jù)處理全場景提供安全保障。? 從云到端激發(fā)生成式AI應(yīng)用創(chuàng)新 云計算能夠提供性能強大、門檻更低且更安全可靠的AI解決方案，觸達(dá)更多AI開發(fā)者需要從云到端的解決方案。 火山引擎2024 FORCE原動力大會上，扣子聯(lián)合英特爾共同發(fā)布了“Coze-AIPC”，這是一個增強版的扣子智能體開發(fā)平臺。 扣子（Coze）字節(jié)推出的新一代AI 大模型智能體開發(fā)平臺，Coze-AIPC引入了一款運行于英特爾平臺PC端的扣子App，深度整合英特爾 AI PC 強大端側(cè)能力與扣子云平臺優(yōu)勢。 通過扣子創(chuàng)新的“端插件”機制，英特爾AI PC的PC操控、本地知識庫、本地推理、本地生成等能力被無縫嵌入扣子大模型與工作流。 開發(fā)者借助Coze-AIPC平臺“端插件商店”中預(yù)制的PC端側(cè)能力集，能迅速開發(fā)出適配英特爾AI PC的智能體應(yīng)用，平臺還將支持開發(fā)者創(chuàng)建更多個性化端插件拓展端側(cè)能力邊界。 在生成式AI的時代，英特爾正憑借涵蓋算力基礎(chǔ)設(shè)施、平臺基礎(chǔ)設(shè)施、數(shù)智基礎(chǔ)平臺在內(nèi)的企業(yè)數(shù)據(jù)和AI架構(gòu)的解決方案，與包括火山引擎在內(nèi)的眾多合作伙伴一起，為前沿的AI技術(shù)研究，以及大語言模型的廣泛落地提供強大的AI基礎(chǔ)設(shè)施。 英特爾也在致力于構(gòu)建一個可以一鍵部署，優(yōu)化用戶體驗的AI軟硬件解決方案，激發(fā)更多的AI創(chuàng)新。雷峰網(wǎng)(公眾號：雷峰網(wǎng)) 雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。
作者最近主題：
- T86稅改前夕，跨境物流巨頭們冰火兩重天
- IDC中國公有云市場追蹤：阿里云第一，市場份額顯著提升
- 中國黑珍珠餐廳指南將提升東南亞餐廳聲望
- 外賣大戰(zhàn)重大變局：淘寶閃購來了，聯(lián)合餓了么補貼消費者
- 美團(tuán)即時零售在深圳日均單量超100萬，超京東全站
- 百度全球首發(fā)電商MCP Server AI時代“萬能插座”能重塑智能電商生態(tài)嗎？
- 從分包到共創(chuàng)：百度智能云的大模型生態(tài)革命
- 蘋果機器學(xué)習(xí)科學(xué)家:Mac、 iPhone已適配千問3
- 音樂節(jié)將拉動20億元新消費 美團(tuán)旅行發(fā)布“五一”全球熱門音樂節(jié)目的地
- 減虧的青云，亟待「高毛利」智算業(yè)務(wù)發(fā)力