AMD GPU性能暴涨7倍，优化算法首次开源！高效MoE支持任意专家数量
新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
www.亚洲AV秘无码亚麻得
国产精品㊙️麻豆啊朱
张家界小白龙16分钟演出地点
卡帕岛动漫官网入口安卓
老师撅着屁股被学生调教
尿孔➕灌➕电击➕乳夹
白丝袜❌动漫美女网站
秦彻物被❌黄漫免费3d视频
小姝姝一级毛片
大胸色情美女爆乳❌写真
红桃视频国产AV一区在线
黑人巨鞭狂躁日本少妇
18禁流萤的不眠之夜
刘涛董卿周涛比日P
珐露珊裸体被❌涩涩
白袜少年被绑调教出精
龙卷被爆❌自慰爽naruto堂
无尽❌裸体❌老师❌动漫❌美杜莎
第四爱18㊙️免费视频
18🈲无打码
成人喷水🔞亚洲一区无码
中国女人裸体做爰XXXⅩ
好爽⋯好紧⋯宝贝别夹免费
(玩具/性瘾/自慰)H文
貂蝉爆乳十八禁🔞动漫
扌喿辶畐和畐畬的区别
撕开老师胸罩吃她大乳
男同Gay片GV网站
成人做爰100部片
跳舞生的勒出唇形图片
少年高潮h跪趴扩张调教喷水文
动漫㊙️歪歪打扑克视频网站
龙珠❌18号禁同人网站
芙宁娜被❌吸乳脱内
女人荫蒂被添全过程视频
欧美AV爽aV久久成人
鸣人❌女忍者XNXX
男人㊙️桶进美女屁股的
免费无遮挡🔞果冻视频
撕开大乔的内裤挺进去小说
生化危机8八尺夫人h片
妲己女被黄漫视频下载
老师扒开让我❌了一夜网站
GaY男男✅免费网站
公妇乱婬100部
老师脱个精光让我吃🐻视频
宿傩灌满jing液Hb文
www国产精子韩漫com
女女百合舌伸腿间湿润动漫
海贼王娜美㊙️黄www网站
年轻18GAy白嫩青少年
同性男男A片免费播放
灵狐者被压着×小说
玖辛奈被C哭着爬又被拉回挺进
小南被❌羞羞动漫进入
佐助×鸣人18禁漫画
少妇寡妇婬乱精品一极大片
祢豆子自慰喷水合集
白丝校花🌸扒腿自慰网站
genshin❌3D裸身网站污
妮可基德曼裸被❌到喷水
韩国女主播露整个奶头视频
猛躁女人㊙️拔萝卜漫画
可以涩涩的ai聊天软件
申鹤的抚慰游戏
柳岩性做爰XXXⅩ性视频
亚洲裸男洗澡自慰Gay
我被两个男人绑着躁我好爽动漫
丝袜老师踩我的🐔出精子照片
91精品国产麻豆国产自产影视
凌华脱裤子内裤让我
把jiji❌进女班长屁屁的视频
精品sm捆绑网站免费观看
裸体小舞被❌吸乳羞羞小说
成人无码情人色情A片
提瓦特的涩涩之旅0.4
欧美可播放男同志XXX
大白脚熟妇菊花屁眼
美女蹲着拉屎无遮挡㊙️
国语对白做受欧美
扒开小舞疯狂揉❌ai
网友评论 查看所有评论>>
