新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
《十八禁视频免费播放》，《y85ouztigy6ysf5y》被同桌c到高潮婬荡呻吟
“▓榴莲视频▓无码A片下载”
室友把我下面扒开做了一晚上
……
04月07日
“欧美揉BBBBB揉BBBBB”歌手 首发阵容
↓↓↓
04月07日，香港街头年味儿渐浓 贺年装饰引民众“打卡”拍照，佐助浴室憋尿被呜人揉，大美女100%棵视频，16分24秒陈美娇免费播放，苏水儿爸爸的爱
04月07日，初步结果显示：马尔代夫总统所在政党赢得议会选举，亚洲帅Gay猛男自慰video，涩涩污秽❌❌🔞🔞被爆欧美，小兰同人18禁全彩本子，猛攻肌肉男无情受受视频
04月07日，太原市博物馆藏北朝隋唐文物亮相广西，可以看男男直播的软件，老师好紧⋯蕾丝丝袜和我做漫画，p站视频网站凉了，粗大的🐔巴再里面导出白浆网站
04月07日|江苏连云港扩大东西双向开放 全力建设“一带一路”强支点|国产91玉足脚交在线播放|女人扒开🐻让男人揉|国产无遮挡A片又黄又爽动漫网站|国产❌成年妇❌❌视频下载
04月07日|展开报复袭击！黎巴嫩真主党向以色列发射数十枚火箭弹|三级小说肥水不流外人田性欲很强大的留守肥婆|美女裸体㊙️无遮挡視頻视频裸体so|凉森れむ 在线播放无码|裸体小舞被❌吸乳羞羞拔萝卜
04月07日|中国正能量｜ “一带一路”，共筑全球梦想|三月七内裤湿透的解决方法|▓草莓视频app成人▓|朝鲜骚B毛茸茸|火影小南18禁❌污污污……
04月07日，哈萨克斯坦教育部：将为170万名学生提供免费营养餐，催眠眼镜之佳颖的婚礼(红烧肉)，免费熊片胖熊自慰Gay，国产丨白浆㊙️3D，高清🈚码🔞❌♋白灵
04月07日，腔隙性脑梗塞 你所不知道的脑内秘密，美女㊙️无遮挡屁股视频，美女㊙️灌肠网站，中国肉体裸交❌❌❌❌，爹爹吃凝儿第二部免费观看
04月07日|第七届“贵州大曲·记忆里的味道”全国征文大赛正式启动洪秀柱寄语台青：在大陆可以找到很多发展机遇|女初高中㊙️洗澡网站|18禁女奥特曼被捏胸|灰原哀裸体被❌动漫|洗澡无套自慰❌❌❌麻豆
04月07日，中央气象台继续发布强对流天气蓝色预警，黄泉裸乳被❌涩涩在线观看，月婵强行被❌吸乳羞羞，尺玉王门打肚子√K，成人做爰黄AAA片爽爽画网站
04月07日，农业农村部：着力增强脱贫地区和脱贫群众内生发展动力，丰满美女无遮挡毛毛A片，王艳又紧又大又湿又爽小视频，Free性饿老太太，我是赘婿免费阅读18小说网
04月07日，民革海南省委会：构建体系破解海南农业品牌“杂而不精”，PORNY丨首页❤入口在线，sm捆绑㊙️免费网站，三年片在线观看免费动漫4集，扒开腿添18禁🔞免费视频
04月07日|TVB“万千星辉颁奖典礼2023”澳门举行 佘诗曼三封“视后”|米塔同人18+动漫在哪里看|扒开美女衣服❌狂揉❌|美女被狂揉下部❌羞羞电视|地下偶像1-13集有声
04月07日|看非遗嘎木卓舞 感受传统文化魅力|黄昏和约尔洗澡无删减同人|劳拉同人3D动画18R在线观看|日本熟妇❌❌❌高清浴室|扒开美女C❌狂揉❌免费
04月07日|“黄埔后代要继承父辈热爱祖国这颗中国心”——陈知进回忆父亲陈赓|小智❌莎莉娜18禁污污|动漫3D吸乳羞漫画软件|Futa♥XXX♥Hentai|蜜桃㊙️无码一线
偷偷藏不住八大名场面，美以防长8天内5次通话|湖北宜昌：珍稀夏候鸟数量明显增长|18🈲乳液啪游戏|亲孑亲子伦ininX国产|欧美一级A片|美女的隐私㊙️裸体网站
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
