扩散启发的统一消息传递框架：从能量约束扩散到Transformer

摘要

学习具有特定几何结构（无论是可观测的还是不可观测的）数据的表示是一个基本挑战，而消息传递神经网络（MPNNs）已成为一类实际上的模型解决方案。本文受物理系统启发，提出了一种能量约束扩散模型，它将流形上扩散的归纳偏置与能量最小化的逐层约束相结合。我们发现扩散算子与扩散过程隐式下降的能量函数之间存在一一对应关系，并且求解能量约束扩散系统的有限差分迭代推导出了在不同（可观测或潜在）结构上运行的各类MPNN的传播层。这为那些计算流程可被归结为消息传递（或其特殊情况）的常见神经架构（包括MLP、GNN和Transformer）建立了一个统一的数学框架。基于这些洞见，我们设计了一类新的神经消息传递模型，称为扩散启发Transformer（DIFFormer），其全局注意力层源于上述有理论依据的能量约束扩散框架。在从真实世界网络到图像、文本和物理粒子等多种数据集上，我们证明新模型在数据结构可观测（如图）、部分可观测或完全不可观测的场景下均取得了优异的性能。

[原文摘要链接][PDF链接][参考文献链接]
[代码链接]
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）