文生圖領(lǐng)域權(quán)威的第三方榜單Artificial Analysis競技場發(fā)布消息稱,字節(jié)跳動Seed團(tuán)隊(duì)圖像生成模型Seedream 3.0綜合性能已追平文生圖SOTA模型GPT-4o,穩(wěn)定超越Recraft V3、Ideogram、Imagen 3、Midjourney V6.1等模型,進(jìn)入全球第一梯隊(duì)。
?

?
Seedream 3.0是字節(jié)近日發(fā)布的新一代文生圖主力模型,目前已在即夢、豆包等平臺全量開放。據(jù)Seedream 3.0技術(shù)報(bào)告,Seedream3.0是一個(gè)原生高分辨率、支持中英雙語的圖像生成基礎(chǔ)模型,無需后處理即可實(shí)現(xiàn)?2K?分辨率圖像直出,適配多比例場景,同時(shí)針對小字體高保真生成、多行文本排版等業(yè)界難題,模型也取得了突破性的效果表現(xiàn)。
?
值得一提的是,Seedream 3.0在3秒左右即可快速生成1K分辨率的高品質(zhì)內(nèi)容,相比之下,業(yè)界同類模型生成該分辨率內(nèi)容的耗時(shí)基本在10秒以上,而此前文生圖SOTA模型GPT-4o平均耗時(shí)為77秒。
?

圖注:Seedream3.0?技術(shù)報(bào)告中評測結(jié)果
?
豆包大模型團(tuán)隊(duì)推文介紹稱,Seedream3.0研發(fā)始于2024年末,通過調(diào)研設(shè)計(jì)師等群體的實(shí)際需求,團(tuán)隊(duì)不僅將圖文匹配、結(jié)構(gòu)、美感等行業(yè)共識性指標(biāo)納入攻堅(jiān)方向,同時(shí),也將挑戰(zhàn)小字生成與復(fù)雜文本排版、2K高清直出、快速圖片生成等難題作為核心目標(biāo)。
?
針對2K分辨率、多尺寸圖像直出能力實(shí)現(xiàn),團(tuán)隊(duì)借助了Transformers?架構(gòu)對變長輸入序列的靈活處理能力,在從?512x512?到2048x2048?的多種分辨率和不同長寬比上混合訓(xùn)練,讓模型實(shí)現(xiàn)不經(jīng)過額外深加工的高清直出,同時(shí)也支持多種分辨率輸出。
?
為支持快速生成高品質(zhì)圖像,模型采用自研推理加速算法,依靠一致性噪聲預(yù)測,疊加重要時(shí)間步采樣,最終實(shí)現(xiàn)對模型的無損加速。在保障圖文匹配、美學(xué)質(zhì)量、結(jié)構(gòu)準(zhǔn)確度等指標(biāo)的前提下,Seedream 3.0?生成1K分辨率圖像僅需?3?秒。
?

圖注:Seedream3.0輸出圖像細(xì)節(jié)豐富,蝴蝶絨毛根根分明
?
Seedream3.0還大幅提升了小字體高保真生成、多行文本語義排版表現(xiàn),滿足設(shè)計(jì)師對海報(bào)設(shè)計(jì)的需求。團(tuán)隊(duì)在預(yù)訓(xùn)練階段,引入跨模態(tài)旋轉(zhuǎn)位置編碼,補(bǔ)足傳統(tǒng)方法模態(tài)特征對齊短板,進(jìn)一步加強(qiáng)了文字渲染能力。
?

圖注:Seedream3.0模型可完成小字生成、多行文本排版,并兼顧畫面美感
?
據(jù)Seedream團(tuán)隊(duì)介紹,相比此前2.0版本,Seedream 3.0?在數(shù)據(jù)和RLHF階段也使用了全新方案。團(tuán)隊(duì)采用缺陷感知的訓(xùn)練策略,使有效數(shù)據(jù)集擴(kuò)充超過20%,同時(shí)設(shè)計(jì)了精準(zhǔn)的美感描述維度,并進(jìn)一步拓展RLHF獎勵模型,使Seedream 3.0?具備多維度質(zhì)量判別能力,綜合性能大幅提升。
?

圖注:Seedream3.0在美感等方面較2.0進(jìn)一步提升
?
Seedream團(tuán)隊(duì)表示,“新模型在海報(bào)創(chuàng)作、生成效率、結(jié)構(gòu)與美感等方面取得了明顯進(jìn)步,但在生成可用性、美感與結(jié)構(gòu)、智能化方面仍有提升空間。”
?
據(jù)了解,未來,團(tuán)隊(duì)計(jì)劃探索更高效的結(jié)構(gòu)設(shè)計(jì),包括構(gòu)建效果更好、成本更低、生成更快的文生圖模型,并進(jìn)一步拓展模型對世界知識的理解,賦予模型交織生成等能力。同時(shí),團(tuán)隊(duì)也計(jì)劃探索數(shù)據(jù)、模型量級、獎勵模型等維度的Scaling現(xiàn)象,將認(rèn)知積累應(yīng)用于下一代模型中。
?
Seedream 3.0?技術(shù)報(bào)告:https://arxiv.org/abs/2504.11346
Seedream 3.0?官方網(wǎng)頁:https://team.doubao.com/zh/tech/seedream3_0
?
?
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。