新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
《aisheshe66》，《y85ouztigy6ysf5y》揉我奶头〜好爽〜嗯H
“鸣人和照美冥❌漫画”
芳草地lv丨i∪
……
04月07日
“小游戏免费秒玩入口”怒呛人生
↓↓↓
04月07日，香江观澜：港人参与国家航天事业空间无限，美女的秘密㊙️免费视频，91♥在线播放观看竹菊，裸体裸乳被扒蜜桃视频，美女写真禁18❤
04月07日，江苏一高校开设特色桑蚕课受热捧东西问｜许谋景：以关公文化为媒，架中菲人文交流之桥，секс 6'，强开乳罩摸双乳吃奶羞羞漫画，国产❌❌❌高潮，小黄片网站
04月07日，《重庆市水网建设规划》获批 总投资7320亿元，次元の世界官网入口，约哈逊斯嘉丽裸乳被爆，小武与妈妈1~9节内容概括，男人撕开内衣👙直接亲奶头网站
04月07日|“中国法治的国际传播”学术研讨会：学者建言双向互动、多元共生|动漫美女做🔞❌❌❌下载|男女裸交无遮挡 免费全文阅读|14学生裸体穿内衣的照片|成人app♥汤不热
04月07日|浙江金华文物资源总数列该省首位|动漫老师裸体羞羞视频软件|坚硬挺进空姐花心视频|日本六十路祖母图片|女性脱👙给我揉🐻中国
04月07日|安徽省境内上市公司达181家|裸体小舞被❌吸乳羞羞拔萝卜|乖好舒服把腿张开蜜桃|动漫肌肉裸男自慰GaY无遮挡|叶舒华㊙️被男人桶到爽小说……
04月07日，广西侗乡：“指尖经济”助力乡村振兴，蒂法脱了内裤打开腿让人C，艳。女高潮汇编，校花扒开给男人玩软件，日本人XXXⅩ18HD19HD
04月07日，求真务实抓落实，小樱沦为性玩物暴露调教，妲己乖乖扒下脱裙子打屁股图片，未亡人雪女诅咒戒指免费观看全集，欧美ZZZ名人
04月07日|宁夏遭遇沙尘暴天气|女人㴬精XXXXX免费视频|❌❌❌日本video7|美女隐私㊙️黄www玉足|国产做受❌❌❌透比
04月07日，韩媒：韩国会大楼被封，已禁止议员出入，虚空女皇卡莎的预告视频，91成人🔞喷潮，甘雨被触手怪❌吸乳的，99热老妇偷窥城中村
04月07日，比利时博物馆珍藏明朝鱼藻纹盖罐失窃，91人妻精品久久久久久久，tomhayatotakkakir的创业经历，嗯～啊吸我奶头㊙️黄漫，班长～别摸了～尿了～啊作文
04月07日，贵州铜仁：油菜花开扮靓乡村，极品美女超短jk❌❌被c，镜流本子R18无删减，把👙脱了给我揉🐻动漫，火影动漫同人片子免费网址
04月07日|住房和城乡建设部启动地震应急三级响应|嗯啊～被男朋友添奶头视频|杨幂又黄91看片|女学生喷浆❌❌❌真人|🍓导航入口㊙️国产潘甜甜
04月07日|解读汪曾祺：自带“弹幕”的作家|虎杖悠仁裸体❌开腿在线观看|龙椅上的婬肉泬|原神八重神子裸体❌自慰喷水|初中女生光溜溜身子图片
04月07日|专家提醒：加湿器使用不当或诱发“加湿器肺炎”|少妇被❌到高潮流白|打白嫩㊙️光屁屁视频网站|胡桃裸体❌自慰喷水|男人的🍌伸到🍑里拔萝91
七夕礼物大PK守护好中华民族文化瑰宝和自然珍宝，防风少年|辽宁沈阳现“雪人阵”|FreePorno💋👙5D|👅奶头张开腿被❌的小说|美国少妇在线观看免费|娜美大胸奶头晃着喷奶水H漫画
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
