梦晨 发自 凹非寺量子位 | 公众号 QbitAI
字节最新深度思考模型，在数学、代码等多项推理任务中超过DeepSeek-R1了？而且参数规模更小。
同样是MoE架构，字节新模型Seed-Thinking-v1.5有200B总参数和20B激活参数。
对比DeepSeek-R1的671B总参数和37B激活参数，可以算得上轻量级了。
目前，完整的技术报告已公开发布，其中揭示了诸多秘诀。
字节Seed团队聚焦大规模强化学习，并从三个角度提升了推理表现：数据、RL算法和RL基础设施。
可验证与不可验证问题
从数据开始说起，字节团队把RL训练数据分为两个部分，具有明确答案的可验证问题和没有明确答案的不可验证问题，采用不同的奖励建模方法。
这其中，模型的推理能力主要来自可验证问题，并可以推广到不可验证问题。
可验证问题包括问题与答案配对的STEM问题、附带单元测试的代码问题，以及适合自动验证的逻辑推理问题（24点、迷宫、数独等）。
不可验证问题主要包括根据人类偏好评估的非推理任务，如创意写作、翻译、知识QA、角色扮演等。
对于不可验证问题，字节团队丢弃了样本分数方差低、难度低的数据。此类数据可能过于简单或已在数据集中大量表示。离线实验表明，过度优化此类样本会导致模型的探索空间过早崩溃并降低性能。
此外，团队还打造了全新数学推理评测集BeyondAIME。
当前的推理模型通常使用AIME作为评估数学推理能力的首选基准，但该基准每年只发布30个问题，有限的规模可能会导致高方差的评估结果，难以有效区分最先进的推理模型。
字节与数学专家合作，根据既定的比赛形式开发原创问题。通过结构修改和情景重新配置来系统地调整现有的比赛问题，确保不会发生直接重复。此外还确保答案不是容易猜的数值（例如问题陈述中明确提到的数字），以减少模型在没有适当推理的情况下猜出正确答案的机会。
RL算法
强化学习虽然强大，但训练起来也很不稳定，经常崩溃。
字节在技术报告中提到”有时，两次运行之间的分数差异可能高达10分”。
针对这个问题，团队提出了VAPO和DAPO两个RL框架，分别从基于价值和无价值的RL范式出发来稳定训练。
VAPO和DAPO两篇论文都已单独发布。
此外，在Seed-Thining-v1.5中，还借鉴了之前学术界工作中的很多关键技术：
价值预训练(Value-Pretraining)，保证价值网络和策略网络一致解耦的GAE(Decoupled-GAE)，让两个网络更独立高效长度自适应GAE(Length-adaptive GAE)，更好处理不同长度序列解耦PPO损失(Clip-Higher)，为低概率token的增长创造，了更多空间鼓励模型探索新方案Token级损失(Token-level Loss)，平衡每个token对训练过程的影响。正例增强(Postive Example LM Loss)，提高RL训练过程中正样本的利用效率，从而提高模型整体性能
RL基础设施
在Long-CoT生成过程中，字节团队观察到各种提示词之间的响应长度差异较大，在生成过程中出现大量GPU空闲时间。
为了缓解长尾响应生成的滞后问题，提出了SRS（流式Rollout系统），一种资源感知型调度框架，可战略性地部署独立的流式计算单元，将系统约束从内存绑定转换为计算绑定。
为了有效地大规模训练，团队还设计了一个混合分布式训练框架，集成高级并行策略、动态工作负载平衡和内存优化：
并行机制：将TP （张量并行）/EP （专家并行）/CP （上下文并行）与全分片数据并行 （FSDP） 组合在一起，具体来说，将TP/CP 应用于注意力层，将EP应用于 MoE 层。序列长度平衡：DP等级之间的有效序列长度可能不平衡，导致计算工作量不平衡和训练效率低下。利用KARP算法在一个mini-batch内重新排列输入序列，使它们在micro-batch之间保持平衡。内存优化：采用逐层重新计算、激活卸载和优化器卸载来支持更大micro-batch的训练，以覆盖FSDP引起的通信开销。自动并行：为了实现最佳系统性能，开发了AutoTuner 自动调整系统，按照基于配置文件的解决方案 对内存使用情况进行建模。然后估计各种配置的性能和内存使用情况以获得最优配置。检查点：使用ByteCheckpoint支持从不同的分布式配置中以最小的开销恢复检查点，弹性训练以提高集群效率。
最终，在多项自动评估中，Seed-Thinking-v1.5在AIME 2024基准测试中取得86.7，与OpenAI的o3-mini-high模型的性能相当。但在最近的AIME 2025和BeyondAIME中，Seed-Thinking-v1.5仍然落后于o3级别的性能。
对于GPQA任务，Seed-Thinking-v1.5达到77.3%的准确率，接近o3-mini-high的性能。
在Codeforces等代码生成场景中，Seed-Thinking-v1.5的性能与Gemini 2.5 Pro 的性能相当，但仍落后于o3-mini-high。
Seed-Thinking-v1.5在SimpleQA上的表现不太理想。但团队认为，该基准测试预训练模型规模的相关性更强，而不是考验推理能力。
许多人看完这篇技术报告，都很感兴趣，不过找了一圈也没找到模型在哪发布。
从技术报告的口径来看，该模型与目前豆包中的Doubao-1.5 Pro并不是一回事。
但从作者名单看，这是由字节Seed团队负责人吴永辉带队，主要成员都参与的大项目。
那么是否将来会部署到豆包APP，可以期待一波了。
论文地址：https://github.com/ByteDance-Seed/Seed-Thinking-v1.5/
《娜美被爆❌漫画歪歪漫画》，《y85ouztigy6ysf5y》吹雪被爆❌羞羞漫画
“万一情侣主sVK”
女人拉屎㊙️网站TXXXX
……
04月13日
“七龙珠手游3d”K4186全车一起救了个人
↓↓↓
04月13日，中国“乌兹别克斯坦文化日”在京开幕，小箩莉无套内谢第一次，舒淇性㐅XXX交完整版，日本❌❌❌❌❌色情40/，中国裸男体秘无遮挡
04月13日，“五一”小县城旅游流量增幅跑赢大都市，tude日本🇯🇵9，性瘾大总裁被c呻吟双腿大张bl，妮可基德曼XXXX性视频，911美女秘片黄在线观看游戏
04月13日，2024东亚文化之都青少年宁波交流活动收官 共绘“海丝繁花”，星野26号直播录屏回放，18美女被❌吸乳羞羞免费，被老师嗯～啊潮喷喝水高H漫画，鸣人强❌小樱禁欲
04月13日|首募专业志愿者 超千名第七届进博会“小叶子”在沪集训|中国老太婆级特黄大片|女同免费观看码软件下载|新疆旱厕高手实拍视频大全|无码少妇XXXXX在线观看吹潮
04月13日|江苏出台政策礼包支持民营经济发展|高清乱码🔞❌♋一起草网站|久久成人99一区二区黄漫软件|百合漫画gl网站㊙️|老太婆老荫道BBBBB
04月13日|国道219发生追尾事故 边境民警施援|不知火舞白丝jK爆❌❌乳❌❌|妲己好大⋯好爽⋯湿透了|芒果视频A片永久免费|🔺国产免费叼嘿网站免费看……
04月13日，2024年张家界黄石寨扁带赛开赛 中外选手“云端漫步”，7vcc看片，扒开学生双腿猛进入喷水APP，91动漫美女裸体❌❌网站，护士的馒头又大又圆怎么形容
04月13日，2023年我国GDP超126万亿元 同比增长5.2%，❌❌❌日本video7，唐山熟女高潮45分钟，2023无遮阴分娩,微博，丰满美女无遮挡毛毛A片
04月13日|坦桑尼亚本月持续暴雨已致66人遇难|班长脱👙给我揉🐻图片|星野鱼哥|日本做受❌❌❌高潮97张|绝区零被爆❌黄漫
04月13日，天津市法规规章规范性文件数据库上线 五大系统全覆盖，业余半老成熟自由性别业余的定义，A片婬妇色费AAA片看，芙宁娜爆乳18禁🔞图片，内射sm黑白爆口
04月13日，屈臣氏这“小样”被罚了15万！，免费看美女㊙️隐私直播，我撕开老师的内裤摸她的爆乳，美女裸体被❌羞羞照片丁字裤，男人大硬茎真照片图片
04月13日，【两会30秒】刘汉元代表：保护知识产权就是保护创新，巨胸爆乳露双头被❌图片，丝袜足控自慰❎，欧美熟妇乱理色情A片直播平台，免费裸体打屁屁❌羞羞免费麻豆
04月13日|（新春走基层）非洲小伙春节返乡盼团圆：把中国的幸福感带回家|色情亂伦国产Va|雷电将军二次元裤子|邓紫棋裸被❌视频无码网站|懒羊羊害羞的摸皓月大耳朵
04月13日|谌龙正式入选世界羽联名人堂|男人伸进里做运动软件|欧美狂躁少妇XXX|巨茎挺进美少年体内疯狂冲刺|白丝班长🌸扒开美腿甜美小说
04月13日|【东西问】方朝晖：孔夫子与柏拉图注重“德性”有何不同之处？|欧美人与禽ZOZZO禽性配吗?|唐舞桐性器被强行打开调教|女人添囗交全过程A片|春丽被❌吸乳羞羞动画
如何评价孙吧地位，陕西省卫健委原主任刘宝琴被查|军歌嘹亮 唱响精神的力量|jk校花❌开腿让我爽一晚作文|小🐤🐤戳进🍑无遮挡听|18禁裸体爆乳羞羞尿裤子❌网站|春暖花开微杏十年论坛最新消息
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
