本文由Tsinghua University和Kuaishou Keling团队共同完成。第一盘是什叶派大学（Shi Minglei），这是一名本科生，他在Tsinghua University的智能视觉实验室学习。在AI开发领域，扩散模型已成为图像生成活动的主要体系结构。但是，在处理不同的噪声水平和输入条件时，传统扩散模型已经采用了单个处理过程，并且无法完全使用扩散过程的异质特性，从而导致计算差。最近，Keling团队启动了DiffMoe（可扩展扩展变压器的动态令牌选择），该选择通过令牌选择和全局选择机制的创新动态机制，扩展了扩散模型的效率和边界。纸张标题：diffmoe：可扩展扩散变压器项目主页的动态令牌选择：https：//shiml20.github.io/diffmoe/论文地址：https：//arxiv.org/abs/2503.14487代码：https：//github.com/kwaivgi/kwaivgi/kwaivgi/diffmie token选择和全球环境，首次对DIFFMOE的认识，首次介绍了批处理的全球池（Batch-batch-Level Grenglivition to dif to dif to dif to difution dif to difutions diffient to diffient diffient to diffient）样品中的令牌并使专业网络能够访问令牌的全局分布到样品。该设计模仿了完整数据集的令牌分布，从而显着提高了研究的复杂噪声模式的研究能力。实验表明，diffmoe不仅是密集的模型，具有相同数量的参数，这不是收敛性，这为多任务提供了更强的背景。为了解决在识别阶段提供计算源的问题，DiFFMOE建议动态容量预测器（容量预测指标）通过LightWe实时调整专用网络的计算IGHT MLP网络。该机制基于训练期间的令牌路线研究模式，并加强了不同噪声水平和样本复杂性之间的资源，从而在绩效和计算成本之间实现了灵活的权衡。例如，在开发困难的图像时会自动分配更多的计算源，同时在处理简单图像时减少负载，“按需计算”确实可以实现。绩效改进：比大多数人无与伦比的伟大模型。在Imagenet 256×256分类条件的条件分类中，其他结构细节保持在恒定和公平的比较中，DiffMoe-L-E8模型仅使用4.58亿参数（FID50K 2.13），这远远超过支持。通过进一步扩展实验，DIFFMOE仅使用1倍激活参数实现了3倍的强化模型。此外，Diffmoe还反映了文本到图像一代活动的巨大总体能力，并有标志与密集模型相比，效率的提高。多维验证：从理论到实践研究TeamRimento：动态计算优势：当平均DIFFMOE激活参数较低时，DIFFMOE可以显着改善性能指标，证明动态资源分配的效率；同时，Diffmoe可以根据样品的难度自动提供计算成本。这项研究显示了该模型认为最困难和最简单的十个世代类型。十种最困难的类型的模型认为，最简单的十个可伸缩性测试是由十种最困难的模型考虑的：从小型（32m）到大型（4.58亿）调整，DiFFMOE保持积极的绩效增长，专家的数量从2个扩展到16。跨任务改编：在文本到图像的生成工作中，Diffmoe模型全面超过了DENSE基线模型具有关键指标，例如对象的生成和空间定位。总结这项工作，研究团队通过动态式选择并访问全球令牌可以很好地扩展扩散模型。我们的技术使用专门的专家和动态资源提供来有效地解决变压器扩散中固定计算处理的限制。大量实验结果表明，DiFFMOE超过了性能中现有的TC-MOE和EC-MOE方法，并且是激活参数成本的3倍的彻底模型。研究团队不仅证明了其在类别一代的活动中的实用性，而且证明了Diffmoe在大规模文本到图像生成中的有效性。尽管我们没有在现代混合专家（MOE）模型中包括改进的技术进行公平比较，但在未来的工作中，诸如专家专家和共享专家等高级技术的整合S可能会带来新的收益。有关更多详细信息，请参阅原始论文。