AMD GPU性能暴涨7倍，优化算法首次开源！高效MoE支持任意专家数量
新智元报道
编辑：LRST
【新智元导读】通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_NUMBER==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3倍，H200提升3倍，MI100提升10倍，MI300X/MI300A提升7倍...
MoE（Mixture of Experts）模型模仿了人脑的低功耗运作模式：功能被划分为多个独立的部分，在思考时通过自适应路由部分激活，从而提高计算效率。
牛津大学研究论文中的人脑皮层示意图，来源于互联网
首个可在CUDA真正可行的版本是Switch Transformer[1]，随后通过循环利用(Up Cycling)稠密模型Mistral[2]进一步优化了该设计。
SwitchTransformer-MoE
随后，DeepSeek V2/V3/R1[3][4][5]通过引入共享专家[3]和门控偏差（gating bias）[4][5]进一步改进了MoE，最终实现了无辅助损失（auxiliary loss free）的MoE模型 [4][5]。这一优化本质上归因于一个关键事实：当使用共享专家（DeepSeek团队选择的值为1）时，可以通过在较大的专家池（256个上施加偏差分数的惩罚，从而缓解专家路由的不均衡问题[11]。
MoE层本质上是由多个专家前馈网络（FFN）组成的层，其中包含门控函数（gating functions），用于根据Top-K门控分数（DeepSeek V3/R1中引入偏差）进行激活路由，并在所选的FFN层上通过Group GEMM计算logits。
该功能在很大程度上依赖于基数排序（radix sort）逻辑。借助MoE Align & Sort，机器学习研究人员和实践者可以按照专家ID对tokens进行排序。
在某些应用中，例如TransformerEngine[6][7]，该操作最初是通过已废弃的cub::DeviceRadixSort实现的，而增加的permute操作用于记录源（左）到目标（右）的映射，其梯度操作为unpermute。
MoE Permute示例
尽管cub::DeviceRadixSort大量使用共享内存，相比于基于__shfl_xor_sync（仅使用线程本地内存）的实现略慢，但它不支持对齐排序（alignment sorting）。
对齐排序对于Group GEMM的效率至关重要，因为它允许专家以块（block 为单位处理tokens。
SGLang 中的MoE Align & Sort算法采用了对齐排序，但在支持多达256个专家的大规模prefill操作时效率并不理想。该问题已在issue#2732中被确认。
目前的实现将MoE Align & Sort拆分为两个kernel启动（kernel launches）：
对齐（alignment）：在单个block内执行传统基数排序算法对齐后的偏移计算（alignment-based offsets computation）;
泄密偷拍妇产科视频
舒淇一级A片巜色情荒野
无码熟妇人妻av久久久一区二区
我的女儿小丹第2部分阅读小说
十八禁🔞打屁股🍑网站
猛男GayGay✅亚洲网站
🍌伸进🍑视频
黄油菠萝包女忍的修炼技巧是
脱了小乔裙子玩小乔下面
免费➕精品➕国产37在线
▇榴莲视频▇无码免费下载
夸克在线观看免费高清电视
动漫美女裸体❌❌网站梅花13
赵露思裸被❌视频
欧美XXXX83D
年下哭着含奶顶h
裸体🈲️网站
男男gv
刘亦菲啪啪婬荡舒服明星换脸
奇优影院❤手机在线
FC2PPV个人撮影88AV
加qq聊骚号2024
杨幂穿JK被躁了一晚上
美女裸露撒尿秘网站
班长拉起胸让我的🍌伸进去动漫
女人C交Z0OZ0OZXXV
二次元男裸体❌开腿P图
一夜强开二女处苞的最新版本
公车上双乳被两男人夹击电影
激烈吮乳吃奶头视频
杨超越走光视频
中国无套毛片学生妺女
古力娜扎自慰❌❌喷水好爽
麻豆精品㊙️国产
猛男GayGay✅无套免费视频
粗喘别蹭了我硬了h
刻晴的白色乳液狂飙
18c.mic.bit.jmcomicron.mic
污APP
欧美同志GaYGAYS✅
小🐤🐤戳进🍑无遮挡 视频
斗罗大陆的衣服宁荣荣
女同二台不片18🈲在线观看漫画
美女疯狂柔❌脱脱内内漫画
掀开老师的裙子❌狂揉❌视频
动漫男❌差女www免费视频
Porno94😍
深夜福利XXOO动态图gif
把小🐥🐥连伸进女人的🍑里
日韩裸体裸乳🍑不良视频
柳神国漫3Dmax
少萝被❌脱脱内内做运动
约尔同人18❌AV黄漫
ceкес日本видео
FreeeXXX性HD丝袜69
女朋友脱了衣服让❌了一夜小说
班长被❌到爽🔞流电影
粗大的🐔巴再里面进进出出网站
500部大龄熟乱视频
18🈲🍆🍑无套直导航视频
妺妺穿白丝忍不住c了的作文
爽好紧宝贝别夹叫大视频
老头吃奶性行交视频
紫悦同人18禁本子
男男憋尿按压小腹肚子不让尿
开腿爆❌乳液狂飙游戏
毛利兰全彩h本
海贼王女帝被爆❌羞羞歪漫
欧美性猛交 XXXX 乱大交
刘亦菲张开腿做爰视频
欧美做受❌❌❌喷浆在线观看
汉库克调教本子
女女les做爰XXOO网站
欧美《交换做爰》
prouhnb站破解免费版
八尺大人被❌吸乳视漫画
文轩河马的秘密河信息素抑制剂
古董商裸体被❌涩涩
女人扒开🍑男生摸
椰子视频8.11版本
日本肉体βββββββ肉交400
网友评论 查看所有评论>>
