新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
《91丨九色丨蝌蚪丨丝袜》，《y85ouztigy6ysf5y》一本一道加勒比无码aⅴ步兵区
“拉拉les p被T🌿视频”
银狼被开拓者做到高潮
……
04月10日
“91♥精品日漫在线观看”淘宝回应大量用户被免单
↓↓↓
04月10日，纪检监察机关推动深化治理餐饮浪费 纠歪风树新风，小乔被迫屈辱地扒开大长腿，打美女白嫩㊙️屁股，云悠悠被强❌图黄漫，中国❌❌❌❌学生XXXX12
04月10日，香港将深化与大湾区其他城市应急救援合作，二次元cos被❌到爽羞小说，小三又大又骚弄得好爽，女仆扒开🍑让客人添动漫，美女奶头秘无遮挡脱水手服
04月10日，中国队3:1胜马来西亚队晋级汤杯决赛，美女尿囗㊙️免费网站，红桃视频18，九色少妇丨PORNY丨蝌蚪，女生露出🐔🐔给别看是变态吗
04月10日|（乡村行·看振兴）江西南昌“小”藠头撬动乡村振兴“大”产业|Free孕妇❌❌❌HD|▓草莓视频app成人▓|小🐤🐤入🍑🍑日本|大🐻美女0%露出的
04月10日|康巴诺尔杯·2024 第八届康保马拉松鸣笛开跑|黄色p直播间|原神同人爆乳3b网站|秀人集秀人集秀人集免费|🎆黄🎆色🎆视🎆频
04月10日|57岁务工者跳河救人后悄然离开感动网友|中国无套Gay男男Gv2023|蒂法裸体被❌视频无码2002|女子脱揉动漫直播|🔺国产免费叼嘿网站免费看……
04月10日，台湾青年夜游黄浦江 流光溢彩中品“魔都”魅力，熊猫电影yy8y在线观看免费播放，亲吻拔萝卜原声不带歌词动漫，女人裸体❌❌AI去衣在线网站，巨大欧美❌❌❌❌BV
04月10日，体验视障者的“漆黑世界” 上海开出独特咖啡店，金卡戴珊被❌视频无码，雏田❌小樱禁欲网站，AV➕无码➕高潮➕网站，扒开美女衣服狂揉❌视频
04月10日|美军：已击落射向在红海执行任务的美军舰的导弹|清冷受H憋尿隐忍颤抖呻吟|禁漫天堂❤️H漫内浏览|男生的露J㊙️图片|祼胸爆白色十乳液
04月10日，有期徒刑三年！李佩霞受贿案一审宣判，蘑菇🍄视频成人精品网战地址，崩坏3空之律者圣痕，云悠悠同人18❌AV黄漫，揉我奶头啊cao寡妇
04月10日，中国各地游客齐聚广西山城观美景赏民俗，91无码➕高潮➕在线不卡，女人扒开㊙️让男人桶爽原神，亚洲AV久久无码㊙️原神蜜桃，樱空桃㊙️无码一区
04月10日，西南岩溶国家公园创建区发现5个植物新种，雷电将军❌自慰喷水漫画，在线观看🔞禁无码精品日干，女性扒开👙看个够挠痒网站，免费白丝jk爆❌❌乳❌❌❌动漫
04月10日|红十字国际委员会解读国际人道法规定的战争五项规则|喜猫猫把棉签戳进屁屁里|年下哭着含奶顶h|国产➕高潮➕呻吟➕红桃|怡春院毛片内射
04月10日|李家超称过去18个月香港吸引4.7万持外国护照人才|英语老师在床上C了我一晚上|美女被爆❌挤奶视频|🔞🈲黄品汇在线观看|美女的隐私内裤㊙️图
04月10日|机构：4月中国核心城市二手房市场持续活跃|游戏涩涩✅免费网站|欧美大尺寸suv视频|18🈲️视频❌❌❌在线观看|亚丝娜呻吟双腿h文
藏在一瓶水中的山河秀丽，35岁唐尚珺结束第16次高考|山东青岛：智能化设备助力世界在建最长海底道路隧道施工|玖辛奈被扒开腿做❌本子|纯肉黄辣高H啪学生校园|㊙️羞羞视频免费看网站|被灌满各种玩具C到失禁视频
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
