阿里开源多模态模型,7B参数掀翻谷歌!看一眼秒出食谱,唠嗑更像人
本文系网易新闻?网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。
作者 | 陈骏达编辑 | 心缘
智东西3月27日报道，今天，阿里巴巴通义千问发布了新一代端到端多模态旗舰模型Qwen2.5-Omni-7B。这一模型能够实时处理文本、图像、音频和视频等多种输入形式，并通过实时流式响应同时生成文本与自然语音合成输出。
该模型现已在Hugging Face、魔搭、DashScope和GitHub上开源，采用宽松的Apache 2.0开源协议，模型论文也全面开源，详解了背后的技术细节。同时，用户可以在Demo中体验互动功能，或是在Qwen Chat中像打电话或视频通话一样与Qwen聊天。
千问团队称，Qwen2.5-Omni采用了全新的Thinker-Talker架构，支持跨模态理解和流式文本、语音响应，支持分块输入和即时输出。
在与同等规模的模型进行基准测试比较时，Qwen2.5-Omni表现出一定优势，并超过了Gemini 1.5 Pro和GPT-4o-mini等闭源模型。
Qwen2.5-Omni在音频能力上优于类似大小的Qwen2-Audio，并与Qwen2.5-VL-7B保持同等水平。在权威多模态理解测试OmniBench上，Qwen2.5-Omni获得了SOTA表现，超越Gemini 1.5 Pro，提升幅度达30.8%。
Qwen2.5-Omni在端到端语音指令跟随方面表现出与文本输入处理类似的效果，在MMLU通用知识理解和GSM8K数学推理等基准测试获得了不错的成绩。
开源地址：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
论文地址：https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni.pdf
Demo体验：https://modelscope.cn/studios/Qwen/Qwen2.5-Omni-Demo
一、全模态实时交互，看一眼食材秒出食谱
在博客文章中，千问团队放出了多个Qwen2.5-Omni在现实世界多模态场景中的测试案例。
目前，Qwen2.5-Omni共有Cherry和Ethan两种语音可供选择。Cherry音色对应的是女声，Ethan音色对应的是男声。从听感来看，这两种语音真实、自然，会在说话时加入停顿、语气词等内容。
Qwen2.5-Omni能在场景中实时处理、分析多模态内容。
例如，在下厨时，可以拿着食材询问通义应该如何处理，或是环视厨房里的调料，看究竟应该用哪些调料，可谓是厨房小白福音了。
Qwen2.5-Omni能听懂音乐，判断歌曲是什么风格，采用了何种音调，并提出对原创歌曲歌词、节奏等方面的意见。
在绘画时，Qwen2.5-Omni可以根据草图判断绘画内容，还能给出画面的构图建议。
此外，Qwen2.5-Omni还可以在户外场景判断天气、在学习场景中辅助解题、论文阅读，具备较好的通用多模态能力。
二、自研端到端架构，获得多模态理解基准测试SOTA
Qwen2.5-Omni采用Thinker-Talker双核架构。Thinker模块如同大脑，负责处理文本、音频、视频等多模态输入，生成高层语义表征及对应文本内容。
Talker模块则类似发声器官，以流式方式接收Thinker实时输出的语义表征与文本，流畅合成离散语音单元。
Thinker基于Transformer解码器架构，融合音频/图像编码器进行特征提取；Talker则采用双轨自回归Transformer解码器设计，在训练和推理过程中直接接收来自Thinker的高维表征，并共享全部历史上下文信息，形成端到端的统一模型架构。
千问团队还提出了一种新的位置编码技术，称为TMRoPE（Time-aligned Multimodal RoPE），通过时间轴对齐实现视频与音频输入的同步。
在多项基准测试中，Qwen2.5-Omni在包括图像，音频，音视频等各种模态下的表现都优于类似大小的单模态模型以及闭源模型。
值得一提的是，在多模态理解基准测试OmniBench上，Qwen2.5-Omni达到了SOTA表现，其得分为56.13%，超过第2名Gemini 1.5 Pro的42.91%。
在视频到文本任务上，Qwen2.5-Omni也超过了原本的开源SOTA模型和GPT-4o-mini。
在其他基准测试中，如语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU、MMStar）、视频理解（MVBench）以及语音生成（Seed-tts-eval和主观自然听感），Qwen2.5-Omni的成绩均超过了Qwen家族的其他单模态模型。
结语：更强大的Qwen2.5-Omni还在路上
Qwen2.5-Omni-7B一经发布便获得海内外用户的关注，有不少网友已经开启了催更模式，比如增加对小语种的支持、开发千问海外App，或是与智能眼镜等硬件结合。
据千问团队介绍，未来，他们还会发布能力更强、速度更快的模型，并扩展其多模态输出能力，涵盖图像、视频和音乐等多种形式。
沙奈朵被揉到高潮下不了床小说
国产老熟女伦老熟妇A片小川桃果
18禁网站检测
罗丽的婬肉泬被c小说
亚洲十次啦‘
扒开老师的湿润小泬喷白浆动漫
咒术回战冥冥AMV网站
啊⋯学长⋯轻点⋯奶头漫画
麻花传剧原创mv免费视频
原神涩涩❌18禁游戏
人妖脱内内露出了ij
我的世界珍妮吃萝卜动画网站
海贼王娜美路飞cp文
轻点～太深了～啊～进去了视频
6080yy理论片动漫免费观看
日本Scat排泄pooping
极度婬乱绝世唐门
女女隐私㊙️免费网站
日本1-1韩国
俄罗斯女兵性裸交
操少女av在线直播
裸体洛天依被❌到爽
vore挣扎模拟器
我看九七欧美激情影院黄色一级片不要钱的请播放
动漫男♂yaoi自慰GAY漫画
被藏獒c了两小时尿了小说
美女撒尿视频免费网站
裸睡腿张开被合租男看到了
圣采被扒开腿爆❌乳液狂飙
警察妈妈1-8节阅读答案
♥同人♥本子♥散兵
张符雨人艺术
大学女厕撒尿偷窥洗澡
原神夜兰女仆装
宿友c我🌿男男开车动漫
弱网
肉色丝袜和避孕套有什么区别
美女又爽又黄又污随州房产网
杨颖被c到高潮下不了床
日本护士高潮Av毛片桃月堇
人人妻人人澡人人爽人人学生aV
八重裸乳被爆❌白浆的作文
男生自慰搔喘又大又粗片
免费巨胸爆乳❌❌❌动漫
白鹿裸体被❌羞羞网站
Pornhub入口在线观看
爽⋯好多水⋯快⋯添奶头视频
女仆主动扒开让客人打屁
黄金仓库huck9视频
草莓TV国产成人福利游戏
雁门照1400种子下载
乌克兰处破女www免费
乱步被强到高潮怀孕
裸体㊙️无遮挡打屁股
美女裸体㊙️直播中国
泰国79演出现场网站在线看
朴妮唛自慰一区二区三区
日韩裸体裸乳🍑不良视频
欧洲老妇做爰XXXⅩ性活仓井空
黑网.www血腥暴力
3D动漫同人18❌动漫88AV在线
❤奇优黑狐影院6080
乖把奶罩脱了张开腿h别揉我动漫
弹丸论破涩涩同人❌18禁漫画
粉嫩白丝JK被啪到喷水视频软件
扒开老师免费看
成人18夜夜网深夜福利网
日韩AV无码一级毛片免费
wwwwⅩXXX18美女WC
成人网站视频免费涩涩屋漫画
工口里番无肉码全彩3d动态
国产❌❌❌❌HD中国
韩国极品美女裸体无删版100
中国女人裸体做爰XXXⅩ
део+26一7
南宫问天手撕东方铁心衣服
中美做受❌❌❌高潮6
妺妺穿白丝忍不住c了
欧美⭕⭕⭕⭕XXXX83
中国熟老太另类
免费看美女㊙️隐私少罗
网友评论 查看所有评论>>
