新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
《www.免费视频🈲🈲🈲传媒》，《y85ouztigy6ysf5y》千仞雪强❌乳喷本子网站
“日本奶汁.哺乳XXX”
扒开狂揉喷水动漫
……
04月09日
“91久久久久久精品国元产码”五一中国游客遍及全球近200个国家
↓↓↓
04月09日，2024国考需调剂6687人，公安系统调剂需求最大，甘雨被狂❌到高潮网站，为什么男生都觉得金晨好看，好爽⋯好紧⋯宝贝夹住了浴室漫画，泰国79表演秀完整在线观看
04月09日，广西侗寨雪夜景色美，主人调教巨奴性奶牛少年，王者女被超污裸体网站，雷电将军18AV黄漫网站，把伸进胡桃的www动漫
04月09日，北京延庆推介冬季文旅 深化与粤港澳大湾区合作，八十老太奶性BBwBBw免费，蓬莱仙山钢管舞32人名单公布，原神芙宁娜疯狂❌自慰网站，Free❌㐅❌性HD另类医生
04月09日|小罗伯特·肯尼迪宣布暂停美总统竞选 转而支持特朗普|用力挤压夹男人的🍌图片|二次元小黃片㊙️🈲网站|男模裸J照无遮挡🔞免费|好爽⋯好紧⋯宝贝坐上来电视剧
04月09日|韩国国会拟于7日表决对尹锡悦弹劾案 政坛风波持续|中国产❌❌❌❌18|日本japonism亂伦|苍月奥特曼网站入口链接|三笠同人18❌AV黄网站
04月09日|日本石川县能登地区发生4.4级地震|变态男把手弄进我的🍑里视频|日本❌❌奶头❌裸体|某女星隐私泄露事件|护士你下面好紧我进不去……
04月09日，西安强化新型工业化“新支撑” 产业发展向“新”而“兴”，摸同桌的我的变，偷拍洗澡-ThePorn，卡芙卡裸体被❌网站，娜美被❌吸乳羞羞流白浆
04月09日，“哆啦A梦儿童图画书”系列上市 纪念哆啦A梦出版50周年，炕上共妻边喂奶边做h，白丝jk爆❌❌乳❌❌❌的网站，穿越火线云悠悠正能量p图，米塔本子资源网
04月09日|鲍威尔称美联储降息时机已到|小🐥🐥戳进蜜桃里动漫|刘亦菲全身脱得精光视频|ceкес法国видео⚡️|被❌到爽🔞流视频国产欧美
04月09日，伊朗外交部：将“果断而有效地”回应以色列的袭击，冰雕x和吹雪s，www.988.cn免费，少妇妓院1982，小姝姝一级毛片
04月09日，法国尼科石油公司：中国航空润滑油市场潜力巨大，小舞🌸扒腿让我c的小黄书，成人🍆伸入🍑🔞，亚洲AV无码㊙️蜜在线，18禁丝瓜啪啪下载
04月09日，海口美兰国际机场1月货邮吞吐量累计突破22000吨，原神同人18禁，n号房免费软件，美女胸大美女都自愿给摸，美女被❌❌吸乳得到大胸
04月09日|38万网友互助摆脱“文字失语症”|福瑞18+冲酸奶|男女㊙️无遮挡視頻视频网站|爽⋯好大⋯快⋯深点无码免费看|国产高清❌❌❌精
04月09日|直播间成夏日旅行“任意门” 在线“云”游成常态|牡Zo2O体内交FIO另类|део+38是18还是19|王者男男被❌超污裸体网站|tomhayatotakkakir的创业经历
04月09日|北京严厉打击严重损害建筑市场秩序违法违规行为|㊙️无码珍妮动漫自慰|弹丸论破同人h色本子|日本无码🔞视频在线观看|纳西妲被爆❌羞羞漫画
程心程意，斯里兰卡一赛车失控撞向观众席|特写：痴迷“中国龙” 竞渡汨罗江西南剧展落幕剧《戏剧春秋》在桂林再度上演|性做爰AAA片免费看霸王|穼祖英裸体无删减版|鸣人被佐助按在墙上c|FreeGayFuckGV亚洲
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
