新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
《程潇被❌到爽🔞高潮痉挛》，《y85ouztigy6ysf5y》免费人与野鲁❌毛r片国产
“崩铁美女挤乳头”
一本一道加勒比无码aⅴ步兵区
……
04月07日
“成人游戏18㊙️手游”老年大学声乐课可爱值爆表
↓↓↓
04月07日，吉尔吉斯斯坦财政部首场推介会暨非交易性路演在香港举行，捆绑女裸网，性XXX巩俐XXXHD，亚洲人屁股鞭打网站，免费无遮挡直播网站进口动漫
04月07日，大连夏家河子海滨浴场浮冰断裂 12人被困冰面全部获救，11小箩利洗澡无码视频免费看，85在线精品无码㊙️入口软件，欧美精品一区二区AV白丝网站，美女做爰A片毛片AAAA毛茸茸
04月07日，我国再生资源产业形成较为完整的产业链，什么回收量最大？，为什么男生都觉得金晨好看，动漫美女裸体被❌折磨片名，国产乱婬AV人妻无码电影，91蜜桃传媒吹潮粉嫩少妇
04月07日|“桃芝”强度逐渐减弱 南海北部海面仍有大风天气|tude日本🇯🇵9|纳西妲穿白丝被×流水了|色多多♣福利网站免费破解|疯狂❌偷偷上班自慰爽
04月07日|盖“被子”帮冰块度夏 从哈尔滨存冰有道看科技保温妙招|男人的🍌伸到男人🍑里|中国男帅chinese男男Gay相关网站|成人A片A8LCC|18禁白鹿被❌吸乳羞羞视频
04月07日|【高质量发展调研行】潮玩老手艺，打卡新部落！看浙江宁波如何将非遗与产业结合|那个纹黑桃♠️ROXY推特账号|春丽裸体被爆🔞3d同人网站|樱桃免费人成网站www|脱粪排泄goshopping……
04月07日，第七届进博会全球推介路演首站在越南举办，脱内衣揉🐻小视频，打雷打狙免费高清视频，美女裸体❌挤奶免费网站欢乐豆，美国 вид
04月07日，特供酒是“特假酒” 别再被“特供”酒忽悠了，🌸国产极品🌸白皙爆乳，福瑞同人❌黄动画免费，学生裸体黄网站，秦守仁大战孟秋兰78集剧情简介
04月07日|沈铁梅领衔 川剧《江姐》登台梅兰芳大剧院|国产人妻子无码|亚洲人 青少年 打屁股 得到|原神涩涩同人18❌网站刻晴|性裸❌❌❌❌❌A级眏片
04月07日，2024浙江·台湾合作周启幕 首推“中华好主播”两岸青年主播培训营，白丝校花🌸自慰出水-游戏，免费裸体🔞🔞🔞，挺进月婵的两瓣粉嫩小泬，美女㊙️全身裸体视频
04月07日，未来三天西北、西南等地有强降雨 两部门持续会商部署重点地区防范应对，雏田爆乳被❌🔞🔞㊙，千仞雪强乳喷本子网站，柠檬导航品收入最全，佩罗娜被❌18禁漫画
04月07日，巴斯文化国际交流大会在福州举办 巴斯公益联盟启动，校霸被校草撕开内裤摸j，偷偷鲁2020精品偷拍视频，赵云干貂蝉三天三夜，日本一级片
04月07日|“蹭跑”全马女孩父亲被禁赛三年 |祼体被啪啪❌H动漫|男男被粗大的🐔巴堵住嘴|极品🔞撒尿自慰|日本熟妇❌❌❌高清浴室
04月07日|河南国企开放合作“提速” 加快海外布局|国产➕高潮➕呻吟➕红桃|中国熟妇毛葺葺XXXXX|🍌伸到🍑动漫|小混混把女警花C到高潮
04月07日|助力乡村足球、促进地方文旅发展，抖音足球嘉年华西双版纳站开启|爽⋯好多水⋯快⋯深点尿出来了文|Japanese scat poop 粪|九九黄片接电话几级红包直接放在一起无法站直|咒术回战冥冥的胸罩是什么颜色
打开甄稀度个小假，哥伦比亚称没有发现任何尸体痕迹|广西柳州：东北小朋友欢跳竹竿舞 品味广西水果盛宴|被带到满是x玩具的房间挑调游戏|纲手被❌到爽🔞高潮痉挛APp|qq聊骚群在哪里加入2024|自慰✅免费网站com
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
