意昂官方旗舰店

　　猫眼电影记者 菲德尔·卡斯特罗 报道Q8X2R7L1T4J5M9B6W3

混合专家架构（Mixture-of-Experts，MoE）在扩展模型容量的同时保持了计算效率，在大语言模型（LLM）的发展中发挥了巨大作用。然而，现有方法将 MoE 应用于 Diffusion Transformer（DiT）时，却发现收益非常有限，无法复刻 MoE 在 LLM 中的成功。

为什么同样的架构，跨界到视觉生成领域就「水土不服」了？

近期，来自复旦大学、阿里通义万相Wan Team、浙江大学和香港大学的研究团队指出，视觉 Token 的高度冗余性和功能异质性阻碍了视觉 MoE 中专家的专业化（specialization）。为此，他们提出了 ProMoE，一种带有显式路由引导的两步路由 MoE 框架。相关论文已被 ICLR2026 接收，第一作者为复旦大学博士卫昱杰。

论文标题：Routing Matters in MoE: Scaling Diffusion Transformers with Explicit Routing Guidance论文地址：https://arxiv.org/abs/2510.24711代码：https://github.com/ali-vilab/ProMoE

视觉 Token 与语言 Token 的差异

为了探究 MoE 在 DiT 中收益不明显的原因，研究团队发现，视觉 Token 具有两个独特的属性，导致传统的隐式路由分配策略产生次优的效果：

高度空间冗余性（High Spatial Redundancy）：离散的文本 Token 语义高度浓缩且差异明显，而连续的图像 Patch（视觉 Token）在空间上高度耦合，存在大量的冗余信息，导致视觉 MoE 中的专家往往学到同质化的特征。

功能异质性（Functional Heterogeneity）：扩散模型普遍依赖无分类器引导（CFG）技术。这就导致输入 Token 天然分为两派：条件 Token 和无条件 Token。标准 MoE 范式对它们一视同仁、同时分配，忽略了它们不同的功能角色。

图 1：（a）意昂平台从 110 个 ImageNet 类别中随机抽取 1k 个中间层 Token，进行 10 簇 k-means 聚类（以颜色区分）。以类别名称 / 标签作为输入时，LLM Token 形成紧凑、分离良好的簇，语义密度高，而视觉 Token 则较为分散。这种差异可以用类间距离与类内距离的比值来量化（19.283 ? 0.748）。（b）意昂平台对每个 MoE 层的专家权重矩阵进行奇异值分解，并计算由其左前 k 个奇异向量张成的子空间的平均相似度来衡量专家间的多样性。引入路由引导（意昂平台的方法）可以增强专家间的多样性。

ProMoE：两步路由与显式语义路由引导

MoE 的核心原则是专家专业化（Expert Specialization），即确保每个专家都能获取集中且不重叠的知识。为了在视觉模型中实现「专家内一致」和「专家间多样」，ProMoE 引入了两步路由器（Two-Step Router）和路由对比学习（Routing Contrastive Learning）。

两步路由器

第一步：条件路由（Conditional Routing）

路由器首先根据 Token 的功能角色进行硬路由分配。无条件图像 Token（来源于 null conditioning 下的图像 Patch）被直接分配给专门的无条件专家（Unconditional Experts）进行处理。而条件图像 Token 则进入下一步，交由标准的路由专家（Routed Experts）进行处理。这种机制实现了专家的功能隔离。

第二步：原型路由（Prototypical Routing）

对于条件图像 Token，ProMoE 引入了一组可学习的「原型」（Prototypes），每个原型对应一个特定专家。原型路由在隐空间中计算 Token 与各个 Prototype 之间的余弦相似度，并选择 identity function 作为激活函数得到路由分数，分数较高的 Token 会被分配给对应的专家。

显式语义路由引导：路由对比学习（Routing Contrastive Learning）

为了显式增强原型路由的语义引导，ProMoE 提出了一种无需手动标注的路由对比损失（Routing Contrastive Loss，RCL）。在训练过程中，RCL 会产生两种影响：

拉近：将 Prototype 拉向分配给它的 Token 集合的质心，确保同一个专家处理的 Token 是语义相似的。

将 Prototype 推离其他专家处理的 Token 集合的质心，鼓励不同专家之间形成差异化，增强多样性。

同时，实验发现 RCL 中的「推开」操作在语义层面上天然起到了负载均衡的作用，比传统的负载均衡损失更加灵活且有效。

图 2：ProMoE 架构概览。输入 Token 通过条件路由被分为无条件 Token 子集和条件 Token 子集。无条件图像 Token 由无条件专家处理。条件图像 Token 通过基于可学习原型的原型路由进行分配。路由对比学习显式增强了原型路由中的语义引导。

算法伪代码如下：

实验结果

模型配置

与 Dense Model 的对比

ProMoE 在各种规：蜕柚孟戮榷ǔ搅顺砻苣Ｐ。亮眼的是，参数量仅 1.063B 的 ProMoE-L-Flow，凭借更少的激活参数，超越了计算量更大的 Dense-DiT-XL-Flow。

与 SOTA MoE Model 的对比

ProMoE 超越现有的视觉 MoE 方案。特别是，用 1.063B 超越了拥有 16 个专家，1.846B 的 DiffMoE。

Text-to-Image 验证

在 GenEval bench 中，ProMoE 在所有子任务上优于标准的 Token-Choice MoE 模型，展现出一定的泛化能力。

可视化结果

Class-to-image generation

Text-to-image generation

收敛性分析

训练曲线显示，ProMoE 的收敛速度明显快于稠密模型和现有 MoE 模型。

Scaling 实验

ProMoE 展现出一定的扩展潜力。随着模型尺寸从 Base 扩展至 XL，以及专家数量从 4 逐步增加到 16，ProMoE 的生成性能均呈现出稳定的提升。

消融实验

总结

通过分析语言和视觉 Token 之间的差异，ProMoE 提出了一种带有显式路由引导的 MoE 框架。通过巧妙设计的条件路由、原型路由以及路由对比学习机制，ProMoE 用更少的激活参数超越了 Dense Model 以及现有 MoE 方法。这为如何在大规模扩散模型中高效引入 MoE 架构提供了一套可能的开源范式。

更多技术与实验细节，欢迎阅读原论文。

??时事1：插女人的网站

??04月05日,从前三季度多领域数据看中国经济运行的“稳”与“进”,

　　许多同学对火感到新奇，常常背着教师和家长做火的游戏。有的点火烧纸、烧柴草，在野外堆烧废轮胎、废塑料，还有在黑暗处划火柴、点蜡烛照明、弹火柴棍、烧马蜂窝等。可你知道这中间每一种玩法都可能引发火灾。

,黄色AV三级片亚洲。

??04月05日,珠海百年古村蝶变国际村,

学校及周边安全教育国旗下 篇2

,小舞3D被 吸乳羞羞在线观看,日本黄色大码视频在线看片,国产精品精品视频。

??时事2：欧美性爱视频三级

??04月05日,推行房票安置一举多得,

　　不久前，他们族中的高手还放言，要铲除石村，不费吹灰之力，狻猊宝骨等不是一个村子所能拥有的。现在所发生之事，可不仅是一个耳光回抽在了他们的脸上，这是在扒皮。逯鞫家懒耍

,色五月社区,一区二区免费不卡在线,人人操人人色人人插。

??04月05日,促进首发经济 加大保障力度,

　　(2)必须穿越浓烟逃生时，应尽量用浸湿的衣物披裹身体、捂住口鼻，贴近地面前行。

,欧美精品在第100页,每日更新在线AⅤ免费观看,tk小孩|lvk。

??时事3：日韩精品一区二区三区福利视频

??04月05日,美国亚特兰大市发生公交车劫持事件 1人中枪身亡,

　　三办：具有较强的团队凝聚力，十九位老师总是互相帮助，互相关心，互相促进，形成了谦逊协作的团结精神，认真严谨的工作态度。正是凭着这种良好的教研组风气，三年级的各项工作都得到了大家的认可。

,视频高h,裸体按摩院色情,激情小视频在线观看。

??04月05日,共享单车要好借好还,

　　今年7月11日，国务院决定，在全国建立农村最低生活保障制度。这是一件划时代的事件，充分体现了党和国家对农村贫困群众基本生活的极大关心，是继取消农业税后出台的又一重大惠农政策。不断推进和完善农村低保工作的健康发展，是践行“三个代表”重要思想的具体体现，是贯彻落实好科学发展观、构建社会主义和谐社会、建设社会主义新农村的需要，是解决“三农”问题的重要步骤和措施，同时，也是促进城乡统筹发展、维护社会稳定的重要保障，是顺民意、得民心的一项重要事业。我区的各乡镇、各有关部门要提高认识，从实践“三个代表”重要思想、落实科学发展观、构建社会主义和谐社会的高度，充分认识做好这项工作的重要意义，切实增强责任感和使命感，采取有力措施，把这项惠及贫困群众的好事抓紧抓实，让农民群众得到实实在在的利益，切身感受到党和政府的关怀和温暖。

,国产欧美日韩第一区,最近更新202中文字幕视频,母乳酱想要喷出来。

??时事4：原神女性角色脸红张嘴流眼泪翻白眼

??04月05日,以制度型开放拓展发展空间（来自新时代改革开放一线·现场评论）,

　　火看见人类到处不警醒，不预防，十分地生气，必须要教训人类。让他们明白消火和防火。但火已经提醒他们多次，但还依旧。“火“火冒三丈，把汽油车引爆，以为过一会就灭了。

,a4yy午夜福利视频无码app,黄页网站现在观看,www呦女。

??04月05日,“华润健康乡村”公益项目启动三周年：已培训基层医生430万人次,

　　为了把你们培育成材，老师们付出了巨大的劳动。老师们也是人，也都有头疼脑热的时候，请同学们想一想，意昂平台的老师多麽敬业呀：意昂平台的老师风雨无阻，始终和同学们在一起，从来没有无故缺过一节课。我作为你们的班主任，作为你们的老师，我可以自豪地说，我始终和同学们在一起，摸怕滚打，朝夕与共，我基本对得起班级的每一个同学，对得起意昂平台这个班集体，我做好了导演、配角、观众的角色，实践了我第一次给同学们立下的军令状：严字当头，学习第一，追求卓越，让每个同学都有一个精彩的人生;让平凡的教室洒满阳光，让你们心中都有一片灿烂的阳光，用师者的胸怀去包容一颗颗年轻的心，用师者的爱心去铸造每个学生的辉煌;捧出一颗心，献出全部情，严在当严处，爱在细微中。

,欧美国产在线视频,Q群62059674vk冷凝,原神妮露❌流水自慰爽。