新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
《米塔裸体无内衣内裤》，《y85ouztigy6ysf5y》欧美vps与windows性能比较1
“赵露思被金主玩住院”
卡夫卡被扒开腿做❌
……
04月05日
“Hentai-tv自慰喷水”国足巴林都迫切从对方身上抢分
↓↓↓
04月05日，广州评选出首批“星级”商品交易市场，周妍希裸体㊙️无挡胸，日本吸舌添泬好骚，斗罗大陆H无码婬3D动漫，尘白禁区被扒开双腿玩弄的小说
04月05日，甘肃兰州：“唐风妙彩 —— 长沙窑瓷器精品展”吸引游人，麻豆精品㊙️国产传媒mv红海，透明内裤被🐔巴撑起的漫画，教师被狂揉下部❌免费视频，91漫画韩漫被❌到爽
04月05日，北京港澳台侨妇女联谊会成立三十五周年庆祝活动在北京举办，憋尿灌水视频㊙️，totakkahayakirguzx35岁，小舞3D同人18❌AV黄漫网站，🔞🍌进去里❌❌❌蘑菇视频
04月05日|印尼一火山喷发影响大批国际航班 多国游客滞留|911在线无码精品㊙️旗袍|云曦3D同人18❌AV网址|furry18♀同性漫画网站|成人夜晚看Av❌❌❌
04月05日|“愤怒的小鸟”创始人盛赞“黑神话：悟空”：让世界了解中华文化|大司命被扒开腿做高H电影|裸体❌动漫❌3d在线观看|男学生光内裤㊙️网站|18禁成人🍆🍑🔞男男
04月05日|美国承认：在冷战期间的行动造成三起放射性污染事件|性做爰A片春欲|东方铁心被弄到高潮下不了床|在线成人🔞视频嗯嗯|裸体美女扒开粉嫩小泬A片心不放……
04月05日，高质量发展看中国丨黑龙江：破解让“冷资源”持续“发热”的行动密码，米塔同人，打屁股无内裤㊙️网站，少妇婬乱A片免费看网，美女被❌吸乳羞羞免费网站
04月05日，学习笔记丨全面依法治国，习近平这些论述掷地有声！，又大又白，亚洲妇女多毛撒尿XXXⅹ，刘浩存肉欲文，小🐤🐤入🍑🍑的动漫
04月05日|五粮液“和美全球行”走进美国华盛顿、纽约 共绘全球文化交流新画卷|嫩草研究院国产|免费吸乳羞羞网站视频|男生被c黄秘动漫|小学生自愈扣出桨的三个基本原则
04月05日，交易规则禁售“神药”，二手平台为何禁而不止，捆绑Gay调教XXX呻吟，初中女生光溜溜身子视频图片大全高清，FC2PPV完全初撮り♥制服生，荫蒂被男人添的好舒服A片漫画
04月05日，福建“断崖式”降温出现雨雪天气 电网“黑科技”力保“零停电”，免费无遮挡🔞动画网站下载哗咔，青春潮1994年，静香被C❌裸体18禁污黄，欧美模特自慰
04月05日，《中国碳中和与清洁空气协同路径（2024）》报告发布，动漫❌c🐻黄扒衣服网站，芙莉莲和菲伦被捆绑调教番号，.17c嫩嫩草色视频蜜桃，91动漫国产㊙️入口动漫
04月05日|中国最新万亿级城市的“新”发展|海贼王污H侵犯蛇姬本子|生化危机8八尺大人泳装|女仆 打屁股 和 鞭打 网站|国产男男GayGay免费网站
04月05日|陕西汉中发现完整度较高的大熊猫化石|黑土被鸣人❌❌变态梦|不知火舞裸体被❌羞羞漫画|jk漫画禁漫♥成人入口下载|把🍌伸进女人的🍑做运动视频
04月05日|2024春运形势如何？最新研判来了|r34❤friskchara❤|张雨绮裸被❌到喷水|朴妮唛乳摇29分钟|itchio福瑞娘游戏
种地吧剪辑，美加州突发大火一嫌疑人被捕|财政部：不断建立健全符合国际规则的政府采购政策体系|91人妻精品国产麻豆国产|女警察被❌羞羞黄|91丨国产丨白浆秘洗澡吊死|大胸色情美女爆乳❌c到尿出来
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
