新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
《女人高潮叫床声音mp3》，《y85ouztigy6ysf5y》张柏芝殖器12图片
“女人下边被添全过程A片69式”
裸体无码专区
……
04月04日
“3D黄成人游戏18㊙️免费”看不见影子的少年
↓↓↓
04月04日，朝中社：朝鲜成功试射中远程固体燃料弹道导弹，成欢阁官网登陆入口网址，3D高潮免费观看视频网址，美女撒尿全过程㊙️免费，俄罗斯美女做爰XXXⅩ视频
04月04日，北京：银杏渐黄秋意浓，宝青坊主被脱得全身精光，春药调教妺妺躁狠狠躁爽小说，6080理论片午夜伦八戒，原神黄漫18
04月04日，2024济南（泉城）马拉松比赛开跑 超3万人参赛，91在线无码精品㊙️在线观看，三叶草☘️国产一区二区三区，我的暴露日记第二部，美女➕光屁屁➕无遮挡韩国➕游泳
04月04日|全球首台甲醇汽车起重机投用|偷窃蹲便三免费看完整版|白秀秀被绑在床调教玩弄小说|3D原神裸体㊙️网址|原神丽莎被❌黄漫在线观看
04月04日|亿缕阳光丨置顶你的自信|女搡多毛╳╳╳乂乂H视频|天体营运动比赛|边吃奶边做爰高潮呻吟的来源|91吴梦梦沈娜娜沈芯语
04月04日|财政部：2023年全国一般公共预算收入同比增长6.4%|国产又色又爽又黄刺激在线观看|动漫美女丝袜被❌的动漫|小心🐤伸入女人的🍑真人版|美女流禁🈲🈲🈲🈲……
04月04日，【社评】年轻人爱上传统文化，一场美好的双向奔赴，亚州中国妓女毛毛茸，日本肉体BBBBBB裸BBBBB开，小表妺撅着屁股让我C最新章节，扒开jk美女❌狂揉❌免费网站
04月04日，男子不配合执法被喷辣椒水后抬走？广西警方通报，JXXCC的最新发布页，www.costku.com，禁漫🍆🍑🔞❌❌❌真人精灵，插插插视频
04月04日|绿色“一带一路”十周年创新理念与实践案例（二）|美瓷+折磨+抹油+哭喊|莫娜被❌吸乳网站动画|姨父来我家日娘的背景资料|开襟跳舞❌露出
04月04日，年轻人成带头人，非遗工坊从乡村走向世界，大寄巴抄13，男变女18❌AV黄漫网站，窜天猴在线播放免费观看，小乔扒开腿做❌同人漫画
04月04日，福建平潭“蓝眼泪”爆款IP如何变“流量”为“存量”？，XXXXDHD🍆🍑18，www.茄子.com，动漫美女露内裤扒开腿视频，XXNX中国69老师
04月04日，第八次全国残疾预防日广西宣传活动启动，胡桃夹尿蛋白五年了，3d艾达王裸被❌，公交车强开嫩苞h文高辣h，扒开美女疯狂桶❌漫画
04月04日|北京首家华为旗舰店展示电动汽车|91黑料专区爆料|办公室刺激战场第二季在线观看|美女脱内衣给男生揉揉|在线视频播放大全
04月04日|搭建互联互通平台 中国援老挝农村电子商务工程|欧美乱大交做爰XXXⅩ性AV|乖～把腿张开大一点就不疼了|喜洋洋婬乱版高H小说|男男一边互摸一边舌吻
04月04日|镜观·足迹｜携手同行，构建中拉命运共同体|帅小伙太粗太长了A片|扒开➕尿灌➕春药➕调教➕流出|美女裸体㊙️无遮挡挤奶动漫|人与野鲁毛片免费
广东拟定见义勇为牺牲颁发100万元，成都漫展 祖国人大战神里绫人|孙杨复出首秀夺冠|谢精一汇编|强奷少妇果冻传媒|furry爆乳18禁🔞视频|性夜黄A片爽爽爽免费视
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
