亚洲AV无码专区在线电影APP,国产嘿嘿嘿视频在线观看,国产在线线精品宅男网址,四虎永久在线精品免费青青

12月16日，無問芯穹宣布正式開源其“端模型+端軟件+端IP”端上智能一體化解決方案中的小模型——全球首個端側(cè)全模態(tài)理解開源模型Megrez-3B-Omni，并同步開源了純語言版本模型Megrez-3B-Instruct。

據(jù)介紹，Megrez-3B-Omni是一個為端而生的全模態(tài)理解模型，選擇了最適合手機、平板等端側(cè)設(shè)備的30億參數(shù)黃金尺寸，結(jié)構(gòu)規(guī)整，推理速度最大領(lǐng)先同精度模型300%。作為一個全模態(tài)模型，Megrez-3B-Omni同時具備圖片、音頻、文本三種模態(tài)數(shù)據(jù)的處理能力，并在三個模態(tài)的多種測評基準(zhǔn)中取得了最優(yōu)性能。

?

Github： https://github.com/infinigence/Infini-Megrez

HuggingFace：https://huggingface.co/Infinigence/Megrez-3B-Omni

圖片、文本、音頻，全模態(tài)高性能

Megrez-3B-Omni 拒絕犧牲任何模態(tài)的精度，在圖片、文本、音頻三個模態(tài)中均取得了同尺寸下最優(yōu)性能。無論是和同樣三模態(tài)的VITA ( based on Mixtral 8×7B) 、Baichuan-Omni-7B ，還是雙模態(tài)的MiniCPM-V 2.6 ( based on Qwen2-7B)、Qwen2-VL-7B、Qwen2-Audio-7B，又或是單一模態(tài)的Qwen、Baichuan 等模型相比，Megrez-3B-Omni 在主流基準(zhǔn)測試集上的表現(xiàn)都毫不遜色。

圖片理解：3B體量對標(biāo)34B模型表現(xiàn)

在圖像理解方面，Megrez-3B-Omni 作為一個體積僅為3B的模型，其綜合性能表現(xiàn)可以全面超過34B的龐然大物，超越LLaVA-NeXT-Yi-34B 等模型，是目前OpenCompass、MME、MMMU、OCRBench等多個主流測試集上精度最高的圖像理解模型之一。

與此同時，Megrez-3B-Omni 在場景理解、OCR 等任務(wù)上也具有良好表現(xiàn)，能夠準(zhǔn)確洞察和分析圖像中的場景內(nèi)容，并高效地從中提取文本信息，且無論是模糊的印刷體還是復(fù)雜的手寫字，都能夠輕松識別。

?

Megrez-3B-Omni 屏幕識別

?

Megrez-3B-Omni 手寫體識別

文本理解：超越上一代14B最佳模型

在文本理解方面，作為全模態(tài)理解模型，Megrez-3B-Omni 沒有犧牲模型的文本處理能力，將上一代14B大模型的優(yōu)秀能力壓縮至3B規(guī)模，顯著降低了計算成本、提升了計算效率。在C-EVAL、MMLU/MMLU Pro、AlignBench等多個權(quán)威測試集上更是取得端上模型最優(yōu)精度，在文本理解方面取得全球領(lǐng)先地位。

?

?

Megrez-3B-Omni 文本理解

?

Megrez-3B-Omni 代碼理解

音頻理解：輕松以音問圖、以音解文、以音聽音

在語音理解方面，Megrez-3B-Omni 的效果比肩行業(yè)主流方案。Megrez-3B-Omni不僅支持中文和英文的語音輸入，還能夠處理復(fù)雜的多輪對話場景，更能支持對輸入圖片或文字的語音提問，實現(xiàn)不同模態(tài)間的自由切換。用戶就任意模態(tài)內(nèi)容，發(fā)出語音指令，Megrez-3B-Omni 就能根據(jù)語音指令直接響應(yīng)文本，讓用戶可以通過更少動作與模型展開更直觀、自然的交互。

?

??

Megrez-3B-Omni 語音理解

??

Megrez-3B-Omni 多種模態(tài)自由切換

令人驚嘆的推理效率

模型的規(guī)模并不是決定其速度的唯一因素，因此模型小并不一定就意味著速度快。憑借對硬件特性的深入理解與利用，Megrez-3B-Omni 通過軟硬件協(xié)同優(yōu)化策略，確保了各參數(shù)與主流硬件高度適配，以實現(xiàn)硬件性能的利用最大化。與上一代及其他端側(cè)大語言模型相比，單模態(tài)版本的Megrez-3B-Instruct 在推理速度上取得了顯著提升，最大推理速度可以領(lǐng)先同精度模型300%。

?

多場景靈活應(yīng)用

Megrez-3B-Instruct 這次還特別提供了WebSearch 功能，這一功能使得模型能夠智能地判斷何時需要調(diào)用外部工具進(jìn)行網(wǎng)頁搜索，輔助回答用戶的問題。用戶得以構(gòu)建屬于自己AI搜索，通過網(wǎng)絡(luò)獲取最新信息，克服小模型的幻覺問題和知識儲備不足的局限。

有時，模型通過搜索網(wǎng)頁可以更全面地完成回答，而其他時候，模型自身已具備足夠的知識來獨立解決問題，過多的搜索調(diào)用可能會降低推理速度和效果。Megrez-3B-Instruct 通過在搜索和對話之間智能切換，避免了過度依賴搜索或完全不調(diào)用搜索的問題。除了可以自動決策工具調(diào)用時機之外，Megrez-3B-Instruct 還具備上下文理解性能優(yōu)異、可提供帶參考信息的結(jié)構(gòu)化輸出等優(yōu)勢。目前，這些能力都已集成于Megrez-3B-Instruct 模型中，用戶可以通過System Prompt 自由切換，同時享受到高精度模型推理能力與智能WebSearch 調(diào)用收益。

?

?端上智能需要一體化解決方案

相較于云端大模型，端側(cè)模型需要在資源有限的設(shè)備上快速部署、高效運行，對降低模型計算和存儲需求提出更高要求。無問芯穹技術(shù)團(tuán)隊源起于清華大學(xué)電子工程系NICS-EFC實驗室，在模型壓縮、推理加速及硬件能耗優(yōu)化等領(lǐng)域擁有深入的學(xué)術(shù)研究和深厚的工程實踐經(jīng)驗，是模型輕量化、軟硬件協(xié)同優(yōu)化領(lǐng)域的頂尖團(tuán)隊。

無問芯穹表示，Megrez-3B-Omni是一個能力預(yù)覽，接下來還將持續(xù)迭代Megrez系列，提升自動化水平至“edge device use”效果，讓用戶只需要給出簡單的語音指令，就可完成端設(shè)備的設(shè)置或應(yīng)用操作，并將它作為“端模型+端軟件+端IP”端上智能一體化解決方案的重要構(gòu)成推向市場。

??

在這個方案中，除端側(cè)全模態(tài)理解模型外，還有端上推理軟件和IP設(shè)計方案，不僅支持CPU、GPU和NPU 的同時推理，更能通過跨越軟硬件層次的系統(tǒng)優(yōu)化，額外帶來最高可達(dá)70%的性能提升，最大化端側(cè)硬件性能的利用。

通過“端模型+端軟件+端IP”一體化設(shè)計，無問芯穹將持續(xù)致力于為端側(cè)設(shè)備提供更完整、對硬件利用更高效的智能方案，促進(jìn)大模型在端側(cè)設(shè)備上實現(xiàn)更高推理速度與更低能耗，推動端側(cè)智能更快迎接AGI到來。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。