梦晨 发自 凹非寺量子位 | 公众号 QbitAI
字节最新深度思考模型，在数学、代码等多项推理任务中超过DeepSeek-R1了？而且参数规模更小。
同样是MoE架构，字节新模型Seed-Thinking-v1.5有200B总参数和20B激活参数。
对比DeepSeek-R1的671B总参数和37B激活参数，可以算得上轻量级了。
目前，完整的技术报告已公开发布，其中揭示了诸多秘诀。
字节Seed团队聚焦大规模强化学习，并从三个角度提升了推理表现：数据、RL算法和RL基础设施。
可验证与不可验证问题
从数据开始说起，字节团队把RL训练数据分为两个部分，具有明确答案的可验证问题和没有明确答案的不可验证问题，采用不同的奖励建模方法。
这其中，模型的推理能力主要来自可验证问题，并可以推广到不可验证问题。
可验证问题包括问题与答案配对的STEM问题、附带单元测试的代码问题，以及适合自动验证的逻辑推理问题（24点、迷宫、数独等）。
不可验证问题主要包括根据人类偏好评估的非推理任务，如创意写作、翻译、知识QA、角色扮演等。
对于不可验证问题，字节团队丢弃了样本分数方差低、难度低的数据。此类数据可能过于简单或已在数据集中大量表示。离线实验表明，过度优化此类样本会导致模型的探索空间过早崩溃并降低性能。
此外，团队还打造了全新数学推理评测集BeyondAIME。
当前的推理模型通常使用AIME作为评估数学推理能力的首选基准，但该基准每年只发布30个问题，有限的规模可能会导致高方差的评估结果，难以有效区分最先进的推理模型。
字节与数学专家合作，根据既定的比赛形式开发原创问题。通过结构修改和情景重新配置来系统地调整现有的比赛问题，确保不会发生直接重复。此外还确保答案不是容易猜的数值（例如问题陈述中明确提到的数字），以减少模型在没有适当推理的情况下猜出正确答案的机会。
RL算法
强化学习虽然强大，但训练起来也很不稳定，经常崩溃。
字节在技术报告中提到”有时，两次运行之间的分数差异可能高达10分”。
针对这个问题，团队提出了VAPO和DAPO两个RL框架，分别从基于价值和无价值的RL范式出发来稳定训练。
VAPO和DAPO两篇论文都已单独发布。
此外，在Seed-Thining-v1.5中，还借鉴了之前学术界工作中的很多关键技术：
价值预训练(Value-Pretraining)，保证价值网络和策略网络一致解耦的GAE(Decoupled-GAE)，让两个网络更独立高效长度自适应GAE(Length-adaptive GAE)，更好处理不同长度序列解耦PPO损失(Clip-Higher)，为低概率token的增长创造，了更多空间鼓励模型探索新方案Token级损失(Token-level Loss)，平衡每个token对训练过程的影响。正例增强(Postive Example LM Loss)，提高RL训练过程中正样本的利用效率，从而提高模型整体性能
RL基础设施
在Long-CoT生成过程中，字节团队观察到各种提示词之间的响应长度差异较大，在生成过程中出现大量GPU空闲时间。
为了缓解长尾响应生成的滞后问题，提出了SRS（流式Rollout系统），一种资源感知型调度框架，可战略性地部署独立的流式计算单元，将系统约束从内存绑定转换为计算绑定。
为了有效地大规模训练，团队还设计了一个混合分布式训练框架，集成高级并行策略、动态工作负载平衡和内存优化：
并行机制：将TP （张量并行）/EP （专家并行）/CP （上下文并行）与全分片数据并行 （FSDP） 组合在一起，具体来说，将TP/CP 应用于注意力层，将EP应用于 MoE 层。序列长度平衡：DP等级之间的有效序列长度可能不平衡，导致计算工作量不平衡和训练效率低下。利用KARP算法在一个mini-batch内重新排列输入序列，使它们在micro-batch之间保持平衡。内存优化：采用逐层重新计算、激活卸载和优化器卸载来支持更大micro-batch的训练，以覆盖FSDP引起的通信开销。自动并行：为了实现最佳系统性能，开发了AutoTuner 自动调整系统，按照基于配置文件的解决方案 对内存使用情况进行建模。然后估计各种配置的性能和内存使用情况以获得最优配置。检查点：使用ByteCheckpoint支持从不同的分布式配置中以最小的开销恢复检查点，弹性训练以提高集群效率。
最终，在多项自动评估中，Seed-Thinking-v1.5在AIME 2024基准测试中取得86.7，与OpenAI的o3-mini-high模型的性能相当。但在最近的AIME 2025和BeyondAIME中，Seed-Thinking-v1.5仍然落后于o3级别的性能。
对于GPQA任务，Seed-Thinking-v1.5达到77.3%的准确率，接近o3-mini-high的性能。
在Codeforces等代码生成场景中，Seed-Thinking-v1.5的性能与Gemini 2.5 Pro 的性能相当，但仍落后于o3-mini-high。
Seed-Thinking-v1.5在SimpleQA上的表现不太理想。但团队认为，该基准测试预训练模型规模的相关性更强，而不是考验推理能力。
许多人看完这篇技术报告，都很感兴趣，不过找了一圈也没找到模型在哪发布。
从技术报告的口径来看，该模型与目前豆包中的Doubao-1.5 Pro并不是一回事。
但从作者名单看，这是由字节Seed团队负责人吴永辉带队，主要成员都参与的大项目。
那么是否将来会部署到豆包APP，可以期待一波了。
论文地址：https://github.com/ByteDance-Seed/Seed-Thinking-v1.5/
《国产精品㊙️麻豆0031瑜伽》，《y85ouztigy6ysf5y》成人游戏18㊙️手游
“将军,不可以!(限)暖冬笔趣阁免费阅读”
男被搓澡工搓飞机✈️视频
……
04月14日
“杨钰莹被躁120分钟视频”官方称接到关于李行亮的投诉较多
↓↓↓
04月14日，李强抵达都柏林对爱尔兰进行正式访问，㊙️羞羞漫画破解版，新婚夜初尝黑人巨粗，火影忍者天天被强❌图网站，竹菊影视一二三四www
04月14日，发展绿色循环经济 政学研界代表共论再生资源回收利用，人与野鲁免费直播，器材室轮-J-(4)，久久91欧美特黄A片，美女露出🐻让男生揉的小说亲嘴
04月14日，（两会访谈）全国人大代表汤飞帆：创新实干“再出发” 奋进攀高“挑大梁”，女仆扒开🍑让客人用藤条打，日本做受❌❌❌喷水，正在播放白嫩露脸极品女友，紧急大通知狼拿笔记的用途和作用
04月14日|美滞留空间站宇航员将于明年二月改乘“龙”飞船返回地球|㊙️韩H漫画网站羞羞漫84|表妹叫我开她嫩苞|刘月黑人做爰XXXⅩ性高|❤国产精品嫩草影院❤春菇
04月14日|上海“中华老字号”达197家 居中国各省份首位|aSS多毛大隂户PicS|小🐔🐔伸进🈲1818|九色PORNY9l自拍视频|农村熟女XXXXHD做受
04月14日|重庆开行首条“小巷公交便民健康专线”|免费➕无码➕国产真人视频九色|人妻含泪被黑人进入|中国人XXXXXXXXXX池妞|91成人在线观看喷潮数学……
04月14日，老家新设“记”｜台湾青年陈晓文：在老家的日新月异中收获成长与幸福，黄婷大连大学视频中女主是谁，女性脱👙给我揉🐻中国，XXX Hentai 3D mmd，▓草莓视频app成人▓
04月14日，集图文音像谱于一体 《中国少数民族民间音乐与舞蹈》在京首发，欧美性❌XX❌XX❌图片，伸进内裤揉到高潮呻吟动漫图片，孕妇生孩子 ㊙️密网站，黄漫❌18禁漫画网站入口
04月14日|全球最大江海直达纯电动集装箱船首航洋山港|3D宁荣荣被❌到爽动蓝莓视频|雷电将军被❌乳液狂飙|体育生男自慰✅免费观看|男人的🍌伸到🍑里频频
04月14日，最高法：既严格保护医药知识产权 又依法规制垄断行为，我的性奴便器精厕贱奴，小🐔🐔伸进🈲🔞🔞动漫，情侣内裤免脱视频，龙珠18号污h同人本子
04月14日，民政部：新建巴里坤机场命名为巴里坤大河机场，18🈲黄文，越南小幼稚8至10岁，被外卖员c到高潮高H污污故事，被按摩师玩弄到高潮A片动漫人物
04月14日，2024全球6G发展大会探讨6G标准前沿，3D怪物粗暴巨大无尽Sex，popny丨九色丨国产91，把jiji❌进女班长屁股里视频，JZZXXX@51HD
04月14日|2009年以来冬季最强雨雪冰冻来袭 多部门多地方积极部署应对|学生脱👙给我捏🐻变态|妺妺晚上扒我内裤吃我精子h|卡芙卡捆绑把星玩弄到高潮|日本做受❌❌❌高潮97张
04月14日|【冰雪春天】AI眼中的中国｜冬季锻炼太冷？来看国宝熊猫运动秀|一同看彩虹小蓝2023|徐梦桃体验极氪离车泊入|斗罗大陆❌18禁同人本子|动漫的裸体隐私㊙️视频
04月14日|外卖小哥爱吃啥？专属骑手餐“出锅”！|激情校园另类小说伦|主人～别揉了～尿了～啊哈网站|all温迪被所有人爆炒文|丝袜老师踩我的🐔出精
耗资20亿的古城 日均卖票不到20张，郑钦文vs肯宁|中新健康丨中国专家研究新成果：真正实现孕妇全面无创产前筛查|男男被❌吸乳戴避孕套小说|www.京东热.com|人一禽一交一视一频下一句是什么|免费无遮挡🔞游戏菠萝视频
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
