白交 发自 凹非寺量子位 | 公众号 QbitAI
字节Seed团队视频生成基础模型，来了。
Seaweed海藻，“Seed-Video”的缩写（真是好一个谐音梗！）。
首发仅70亿参数，却能实现超越同类140亿参数视频模型的效果——
它能根据文本描述创建各种分辨率（原生支持1280x720分辨率）、任意宽高比和时长的视频。
它是使用665000 H100 GPU小时完成训练，而同类模型通常需要超百万GPU小时，其相当于是1000个H100训练27.7天完成。
而且中小团队可部署，仅需40GB显存单GPU就可生成分辨率达1280x720的视频。
字节最新视频生成模型
作为基础模型，其标志性功能一定得具备。
比如像开头小短片这种人/动物、景观生成已经属于是洒洒水。
它支持图像生成模型，控制功能也增强，并支持首尾帧调节
并且支持微调，根据「参考主体」图像生成视频，单幅多幅都可以，将其合成为动态视频序列。
而结合字节多模态数字人方案Omnihuman——一张图、一段音频，就可以生成一段人物视频。它可以创建人声更为匹配人物角色，唇部、肢体动作都跟着音频一起同步。
此外，它还支持用视频生成音频，来配合视频的叙事场景、风格。
在这些基础功能之上，Seaweed还技术大放送，结合过往技术成果展现了新的体验。
长篇故事叙述，用户既可以为整体叙事提供全局文本描述，也可以为每个镜头提供细粒度的文本描述。
这背后结合「长上下文调优」、面向长篇叙述生成「VideoAuteur」等技术。
高分辨率除了原生支持1280x720分辨率，还支持进一步采样至2K（2560x1440）。
背后是基于SeedVR，基于Diffusion Transformer实现通用视频修复。
实时生成可实时生成分辨率为1280x720、帧率为24fps的视频。
此外，还支持「摄影机」控制生成、物理一致性生成，背后分别有CameraCtrl II、SimDrop技术加持。
与其他模型对比情况。
图像到视频任务。
文本到视频的任务。
在单个H100 GPU运行中，Seaweed响应速度是Wan-2.1（参数量是前者两倍）的62分之一。
技术报告：三大技术创新
不过更详细的技术细节，还是集中在技术报告里。
整篇技术报告核心讨论的就是一个问题：在视频生成基础模型的训练上，如何实现低成本高效益。
他们选择训练一个中等规模的模型——约70亿个参数的DiT模型，使用665000个H100 GPU Hours从头开始训练该模型，相当于在1000个H100 GPU上训练27.7天。
具体在数据处理、模型架构设计、以及训练策略和优化方面三个方面的技术创新。
首先是数据这块。
他们有一套全面的数据处理管道，其中包括但不限于时间分割、空间裁剪、质量过滤、多视角数据平衡、重复数据删除和视频字幕。
每一个步骤都有他们详细的处理细节。
以字幕任务为例，他们发现使用更大的72B LLM可以减少幻觉。但是，使用72B模型为数百万个视频生成视频字幕的计算成本要高得多。
于是他们选择将72B作为教师模型然后蒸馏出7B的学生模型，节约成本的同时还提高了准确率。此外他们还将详细字幕「推导」成简短字幕，类似于思维链过程，结果进一步提高简短字幕的准确率——从84.81%到90.84%。
利用这一基础设施，他们每天可以处理超过500000小时的视频数据。
然后再是模型架构设计上面，由64x压缩比 VAE与Diffusion Transformer结合组成 Seaweed 。
VAE这边，由一个编码器和一个解码器组成，编码器将原始像素数据压缩到一个紧凑的潜在空间，解码器则根据这些潜在特征重建原始输入像素。理想的VAE应在保持较高重建质量的同时实现较高的压缩比。
这种设计为视频生成提供了两个优势，首先，它统一了图像和视频编码，使第一帧条件图像视频生成任务变得自然。其次，它消除了两个推断片段之间边界的闪烁，并允许编码和解码任意长的视频，而无需人工拼接。
而在Diffusion Transformer这边，他们用图像和视频的原始分辨率和持续时间对它们进行混合训练。为了平衡运行时间的计算，较短的序列被打包在一起。
最后就是多阶段多任务学习训练策略。
他们采用了从低分辨率到高分辨率的多阶段渐进式的训练策略。这一设计侧重于在训练过程中战略性地分配 GPU 资源，以提高整体质量。
Pre-Training阶段，他们只通过低分辨率图像对模型进行预训练，这样就能建立文本摘要与常见视觉概念之间的对齐关系。
Post-training阶段。我们会应用监督微调（SFT），然后是人类反馈强化学习（RLHF），以进一步提高输出结果的美学质量、动作一致性和结构连贯性。
Just Like This~
这一阶段分别针对文本到视频和图像到视频任务进行。
而在更具体Infra层面的优化，他们还做了这些方面的措施。
比如采用并行策略在长语境视频中训练7B模型；引入了运行时平衡（Runtime Balance）策略，以减轻图像和视频联合训练过程中的负载不平衡；还设计了多级激活检查点（MLAC），以减少GPU内存使用量和重新计算开销。
最后，还通过实施融合的CUDA内核来简化零散的I/O操作，从而优化GPU利用率。
因此，在大规模分布式训练中，Seaweed-7B的模型FLOPs利用率（MFU）达到了38%。
Seed研究团队大曝光
而在官网最后，背后研究团队也都全部曝光。
由蒋路、冯佳时、杨振恒、杨建超带领的研究团队。
其中蒋路正是去年加盟字节的前谷歌高级科学家，曾负责谷歌视频生成工作，在多个谷歌产品（如YouTube、云服务、AutoML、广告、Waymo和翻译）中做出了重要贡献，同时也是CMU兼职教授。
冯佳时则是首次曝光的「关键8人」之一，大模型视觉基础研究团队负责人，专注于计算机视觉、机器学习领域的相关研究及其在多媒体中的应用。
具体研究团队成员如下：
基础设施以及贡献者还有这些：
参考链接：[1]https://seaweed.video/[2]https://arxiv.org/abs/2504.08685[3]https://x.com/CeyuanY/status/1911618555210334350
《911在线无码精品㊙️入口游戏》，《y85ouztigy6ysf5y》车里激情吃奶头
“美女穿比基尼被绑住四肢挠痒痒”
古装舒淇五点全开
……
04月15日
“www.免费视频🈲🈲🈲传媒”香港金饰纯度更高？不实
↓↓↓
04月15日，川青铁路构筑民族经济共荣新通道，17c娇喘❌❌⭕⭕白丝，美女被捆绑㊙️网站视频，美女🈲🈲流浆❌❌水，原神同人游戏18禁黄油
04月15日，以高质量教育体系奠基民族复兴｜教育时评，同人动漫全集免费观看，娜美为小乔巴青春期漫画，99AV国产精品欲🍑🍒麻豆，😍PornoHD720p😍
04月15日，女子痴迷减肥诱发心衰 抢救16天挽回一命，和平精英女角色无遮挡去内，les手指技巧100式，17.c.13.nom，守望先锋dva3D裸体❌❌
04月15日|（新春走基层）吉林松原：铜版画手艺人刻龙贺新春涉远洋船货柜贩运约1亿元毒品 香港警方拘捕4人|欧美性猛交XXXXX无码婷|中国老太婆级特黄大片|的🍌伸到🍑屁股|把小🐥🐥放进女人的🍑
04月15日|上海：“五一”假期游园人数达530.48万人次|免费啪啪A片AAAA片老太婆交|打开免费观看视频在线观看|黄色p直播间|"91看片
04月15日|以引领伟大社会革命为根本目的|韩国女明星裸体㊙️|亚洲老奶老太|法国做爰露性器5妓女|玛奇玛裸体被❌视频……
04月15日，电动自行车超标电池售卖乱象：线下门店称可订购超标电池，男女被❌到爽🔞在线观看，杨晨晨被❌爆乳流水，女fYee牲zozc交体内谢，AI绘画小紫妍裸体
04月15日，交通运输部：10月21日-10月27日全国货运物流有序运行，99ncd国产传媒，丰满美女无遮挡毛毛A片，艾莎被扒开双腿疯狂输出小说，.17c嫩嫩草色视频蜜桃
04月15日|京演演出院线成立 助力北京“演艺之都”建设|黑塔被调教娇喘呻吟|Porno😍52|cos白丝被❌❌到流白浆|女高中打屁股网站
04月15日，科威特一居民楼起火致至少41人死亡，美女被❌到爽🔞高潮草莓软件，日本无码🔞视频在线观看，成人做爰视频WWW，井野色情羞羞同人本子
04月15日，在中国，看见世界的发展机遇，火影女被❌🐻黄漫扒衣在线观看，日本动漫颜色指数满天星，疯狂自慰喷水动画，艳妇全程穿着长靴做爰AV
04月15日，中国驻美大使谢锋：期待世界少一些“龙争虎斗”，多一些“龙腾虎跃”，回到童年1～2集免费观看，16男男GaYGAYS✅国内，冰雪奇缘同人黄污，高卷杏同人18禁本子
04月15日|全过程人民民主的价值意蕴与效能保障|日本❌❌❌❌❌色情|av无码➕高潮➕乱噜噜软件|六年级女孩裙子下最短的裙子|斗罗大陆H朱竹清乳
04月15日|北交所920代码号段22日启用 上市“身份证”凸显差异化市场价值|伸进她的小内裤疯狂揉摸视频在线看|飞霄扒开🍑跪着让客人打屁|女人又爽❌又黄❌自慰|亚丝娜呻吟双腿h文
04月15日|港铁本地服务总客量恢复至疫情前逾九成|巨茎挺进美少年体内疯狂冲刺|女同学被到爽流动图|被各种玩具玩的合不拢腿视频|美女写真禁18❤AV区
女排裁判判罚引争议，哈啰多款电动车不合格被罚18万|水利部迅速安排部署新疆阿克苏乌什县7.1级地震水利抗震救灾工作|乱伦小说合集|XXXXXX泡妞🍆🍑软件免费|双马尾少萝吃大狙免费观看|七海千秋18禁本子
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
