意昂官方旗舰店

　　猫眼电影记者 张文平 报道Q8X2R7L1T4J5M9B6W3

混合专家架构（Mixture-of-Experts，MoE）在扩展模型容量的同时保持了计算效率，在大语言模型（LLM）的发展中发挥了巨大作用。然而，现有方法将 MoE 应用于 Diffusion Transformer（DiT）时，却发现收益非常有限，无法复刻 MoE 在 LLM 中的成功。

为什么同样的架构，跨界到视觉生成领域就「水土不服」了？

近期，来自复旦大学、阿里通义万相Wan Team、浙江大学和香港大学的研究团队指出，视觉 Token 的高度冗余性和功能异质性阻碍了视觉 MoE 中专家的专业化（specialization）。为此，他们提出了 ProMoE，一种带有显式路由引导的两步路由 MoE 框架。相关论文已被 ICLR2026 接收，第一作者为复旦大学博士卫昱杰。

论文标题：Routing Matters in MoE: Scaling Diffusion Transformers with Explicit Routing Guidance论文地址：https://arxiv.org/abs/2510.24711代码：https://github.com/ali-vilab/ProMoE

视觉 Token 与语言 Token 的差异

为了探究 MoE 在 DiT 中收益不明显的原因，研究团队发现，视觉 Token 具有两个独特的属性，导致传统的隐式路由分配策略产生次优的效果：

高度空间冗余性（High Spatial Redundancy）：离散的文本 Token 语义高度浓缩且差异明显，而连续的图像 Patch（视觉 Token）在空间上高度耦合，存在大量的冗余信息，导致视觉 MoE 中的专家往往学到同质化的特征。

功能异质性（Functional Heterogeneity）：扩散模型普遍依赖无分类器引导（CFG）技术。这就导致输入 Token 天然分为两派：条件 Token 和无条件 Token。标准 MoE 范式对它们一视同仁、同时分配，忽略了它们不同的功能角色。

图 1：（a）意昂平台从 110 个 ImageNet 类别中随机抽取 1k 个中间层 Token，进行 10 簇 k-means 聚类（以颜色区分）。以类别名称 / 标签作为输入时，LLM Token 形成紧凑、分离良好的簇，语义密度高，而视觉 Token 则较为分散。这种差异可以用类间距离与类内距离的比值来量化（19.283 ? 0.748）。（b）意昂平台对每个 MoE 层的专家权重矩阵进行奇异值分解，并计算由其左前 k 个奇异向量张成的子空间的平均相似度来衡量专家间的多样性。引入路由引导（意昂平台的方法）可以增强专家间的多样性。

ProMoE：两步路由与显式语义路由引导

MoE 的核心原则是专家专业化（Expert Specialization），即确保每个专家都能获取集中且不重叠的知识。为了在视觉模型中实现「专家内一致」和「专家间多样」，ProMoE 引入了两步路由器（Two-Step Router）和路由对比学习（Routing Contrastive Learning）。

两步路由器

第一步：条件路由（Conditional Routing）

路由器首先根据 Token 的功能角色进行硬路由分配。无条件图像 Token（来源于 null conditioning 下的图像 Patch）被直接分配给专门的无条件专家（Unconditional Experts）进行处理。而条件图像 Token 则进入下一步，交由标准的路由专家（Routed Experts）进行处理。这种机制实现了专家的功能隔离。

第二步：原型路由（Prototypical Routing）

对于条件图像 Token，ProMoE 引入了一组可学习的「原型」（Prototypes），每个原型对应一个特定专家。原型路由在隐空间中计算 Token 与各个 Prototype 之间的余弦相似度，并选择 identity function 作为激活函数得到路由分数，分数较高的 Token 会被分配给对应的专家。

显式语义路由引导：路由对比学习（Routing Contrastive Learning）

为了显式增强原型路由的语义引导，ProMoE 提出了一种无需手动标注的路由对比损失（Routing Contrastive Loss，RCL）。在训练过程中，RCL 会产生两种影响：

拉近：将 Prototype 拉向分配给它的 Token 集合的质心，确保同一个专家处理的 Token 是语义相似的。

将 Prototype 推离其他专家处理的 Token 集合的质心，鼓励不同专家之间形成差异化，增强多样性。

同时，实验发现 RCL 中的「推开」操作在语义层面上天然起到了负载均衡的作用，比传统的负载均衡损失更加灵活且有效。

图 2：ProMoE 架构概览。输入 Token 通过条件路由被分为无条件 Token 子集和条件 Token 子集。无条件图像 Token 由无条件专家处理。条件图像 Token 通过基于可学习原型的原型路由进行分配。路由对比学习显式增强了原型路由中的语义引导。

算法伪代码如下：

实验结果

模型配置

与 Dense Model 的对比

ProMoE 在各种规：蜕柚孟戮榷ǔ搅顺砻苣Ｐ。亮眼的是，参数量仅 1.063B 的 ProMoE-L-Flow，凭借更少的激活参数，超越了计算量更大的 Dense-DiT-XL-Flow。

与 SOTA MoE Model 的对比

ProMoE 超越现有的视觉 MoE 方案。特别是，用 1.063B 超越了拥有 16 个专家，1.846B 的 DiffMoE。

Text-to-Image 验证

在 GenEval bench 中，ProMoE 在所有子任务上优于标准的 Token-Choice MoE 模型，展现出一定的泛化能力。

可视化结果

Class-to-image generation

Text-to-image generation

收敛性分析

训练曲线显示，ProMoE 的收敛速度明显快于稠密模型和现有 MoE 模型。

Scaling 实验

ProMoE 展现出一定的扩展潜力。随着模型尺寸从 Base 扩展至 XL，以及专家数量从 4 逐步增加到 16，ProMoE 的生成性能均呈现出稳定的提升。

消融实验

总结

通过分析语言和视觉 Token 之间的差异，ProMoE 提出了一种带有显式路由引导的 MoE 框架。通过巧妙设计的条件路由、原型路由以及路由对比学习机制，ProMoE 用更少的激活参数超越了 Dense Model 以及现有 MoE 方法。这为如何在大规模扩散模型中高效引入 MoE 架构提供了一套可能的开源范式。

更多技术与实验细节，欢迎阅读原论文。

??时事1：www.jrs84.com

??04月05日,陕西榆林警方：一男子在女厕偷拍被行政拘留十日,

　　今天下午，意昂平台在这里举行学生会换届选举演讲。为此，我谨代表学校，以及关心学生会的老师，向上届学生会全体同学的辛勤付出和积极工作表示由衷的感谢!向关心、支持、参与学生会各项工作的在座人员致以崇高的敬意!

,白丝打屁股。

??04月05日,河南漯河发现战国至东汉古墓葬群 出土战国青铜剑依然锋利,

　　“轰”的一声，恶魔猿一拳擂碎了那残存的半截石山，神威惊荒林，击空后它并不停留，一个跳跃就是二百米高，就要展翅逃走。

,欧美毛A片,freeHD18 1080,久久久激情视频网站。

??时事2：白丝校🌸让我爽一天在线观看

??04月05日,“一带一路”能源项目在长兴岛交付,

　　不少强者附和，他们完全将石村众人忽视了，根本不会去询问他们是否同意，如何处置都由在场的人做主，而非拥有者。

,男人把困困进女人困困视频,日本多人强伦姧人妻完整版视频,中国一级特黄视频。

??04月05日,加拿大劳资关系委员会仲裁要求铁路恢复运营 工会称将上诉,

　　5、针对疑难问题，教师进行适当的精讲，拓展。当堂检测达标。

,色色wwwcom,日韩视频1,Aⅴ精品无码无卡在线观看。

??时事3：国内黄色视频正版免费不卡

??04月05日,【这个城市有点潮】舟山：在桃花岛上寻梦金庸笔下的侠义江湖,

　　“吱吱……”金色的毛球惨叫，一百二十个不乐意。

,欧美级特黄AAAAAA片,亚洲人妻综合2,色哟哟在线视频在线观看免费。

??04月05日,突发！韩方称朝鲜向半岛东部海域发射弹道导弹,

　　发展是意昂平台党执政兴国紧紧抓住的第一要务。意昂平台在村党组织建设中始终坚持了“围绕经济抓党建，抓好党建促发展”的思路。一方面是坚持把基层党建工作放在围绕中心、服务大局的首位，置于促进发展，造福人民来谋划，使基层组织建设始终在大局、在行动、在发展中推进。紧紧围绕乡党委、政府提出的发展目标和决策部署，以全面加强支部建设、队伍建设、提高党支部的执政能力和全力推进社会主义新农村建设为目标，扎扎实实抓好党建工作，使基层组织建设为跨越式发展提供了坚强组织保证。另一方面是以市场为导向，发展壮大村级集体经济，加大村农贸市场的建设与管理，年经济收入1.8万元, 脱掉了“空壳村”的帽子。目前，村“两委”有了新的功能齐全、设置规范的办公场所，村“两委”的工作经费也基本得到解决。

,偷国产乱人伦精品一区二区,久久九九99爱精品免费视频4,免费能直接看的黄色网站。

??时事4：高亲毛片网址

??04月05日,搭建互联互通平台 中国援老挝农村电子商务工程,

　　第三，要加强督查指导工作。县委将统筹安排，组织精干力量，分片对各选举单位进行巡回督导。要具体细致的抓好面上指导，督促各选举单位制定日程安排表，将工作程序和步骤进一步分解，工作日程细化到天，工作责任具体到人。要及时准确地抓好疑难问题的指导，各选举单位在代表选举工作中遇到难以把握的问题，不能擅作主张，而要向组织部门，由组织部门根据政策法规进行研究，及时形成科学稳妥的指导性意见，再反馈各选举单位执行。要全面把握好代表选举工作的整体动态。各选举单位的党(工)委领导同志，要见微知著，耳聪目明，抓住苗头性的问题，把握好工作中的重点对象，加强沟通，主动做好深入细致的思想工作。如果发现有违反换届工作纪律、干扰党代表选举工作的人和事，要敢抓敢管，严肃批评教育，并及时向县委。

,女生下面免费观看网站不用下载,淫秽视频网站在线免费,www.huangse视频。

??04月05日,法国巴黎：华人华侨和中国留学生欢迎习近平主席到访,

　　6 、超越之作，续写大品牌新传奇

,添女人囗交VK,Bluephoto蓝摄virus,欧美人与禽ZOZZOZZO。