即插即用系列 | ECCV 2024 SMFANet：轻量级图像超分新SOTA，自调制特征聚合网络详解

论文标题：SMFANet: A Lightweight Self-Modulation Feature Aggregation Network for Efficient Image Super-Resolution

论文原文 (Paper)：https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/06713.pdf
代码 (code)：https://github.com/Zheng-MJ/SMFANet

GitHub 仓库链接（包含论文解读及即插即用代码）：https://github.com/AITricks/AITricks
哔哩哔哩视频讲解：https://space.bilibili.com/57394501?spm_id_from=333.337.0.0

1. 核心思想

本文提出了一种轻量级的自调制特征聚合网络 (SMFANet)，旨在解决基于 Transformer 的 SR 方法计算量大且容易产生过度平滑结果的问题。核心思想是利用一种自调制 (Self-Modulation)机制，让包含全局信息的特征去动态“调制（增强或抑制）”包含局部细节的特征。通过引入高效自注意力近似 (EASA)分支来捕获非局部信息，协同局部细节估计 (LDE)分支捕获高频纹理，并结合部分卷积前馈网络 (PCFN)进一步降低冗余计算，最终实现了性能与效率的完美平衡。

2. 背景与动机

2.1 文本背景总结

图像超分辨率（SISR）旨在从低分辨率图像恢复高分辨率细节。

• 现状：基于 CNN 的方法通常感受野有限，难以利用长距离依赖；而基于 Transformer 的方法（如 SwinIR）虽然利用 Self-Attention (SA) 解决了长距离依赖问题，性能优越，但面临两大挑战：

1. 计算资源消耗巨大：标准的 Dot-product SA 计算复杂度与图像分辨率成二次方关系，且参数量大，不适合移动端部署。
2. 低通滤波器特性：研究表明 SA 机制倾向于作为低通滤波器，容易过滤掉高频信息，导致重建图像纹理过于平滑。

• 动机：能否设计一种机制，既能像 Transformer 一样捕获全局信息，又能像 CNN 一样保留丰富的高频细节，同时还要足够轻量高效？

2.2 动机图解分析

看图说话与痛点分析：

• 现有方法的局限性：在图中我们可以看到，像 SwinIR 这样的 Transformer 模型虽然 PSNR（纵轴）很高，但其参数量和 FLOPs（横轴或圆圈大小）往往非常大，位于图表的右侧或上方，意味着效率瓶颈严重。而轻量级 CNN 模型虽然在左下角，但 PSNR 往往较低。
• 本文的突破：SMFANet（红色五角星或其他显著标识）通常位于图表的左上角区域。这说明它在保持极低参数量和计算量的同时，性能依然超越了许多沉重的 Transformer 模型。
• 核心问题引出：这幅图直观地说明了现有方法在“效率”与“性能”之间的语义鸿沟。SMFANet 通过独特的架构设计，证明了我们不需要沉重的 SA 也能获得很好的全局建模能力。

3. 主要创新点

1. 自调制特征聚合 (SMFA) 模块：提出了一种并行的双分支结构，通过非局部特征来动态调制局部细节特征，实现了全局与局部信息的协同增强。
2. 高效自注意力近似 (EASA)：设计了一种纯卷积结构来近似 Self-Attention 的功能，利用 卷积和深度卷积的组合，以线性复杂度实现了非局部信息的捕获。
3. 部分卷积前馈网络 (PCFN)：将部分卷积 (Partial Convolution, PConv) 引入前馈网络 (FFN) 中，通过只处理部分通道来大幅减少计算冗余，同时保持特征提取能力。
4. 极致的轻量化设计：整体架构在 Set5 等基准数据集上取得了 SOTA 性能，但参数量和 FLOPs 远低于同类方法。

4. 方法细节

4.1 整体网络架构

数据流详解：
SMFANet 遵循经典的 SR 网络架构设计，主要包含三个部分：

1. 浅层特征提取 (Shallow Feature Extraction)：

• Input：低分辨率图像 。
• 操作：通过一个 卷积层将图像映射到特征空间，得到浅层特征 。这一步为后续深层网络提供了基础的视觉原语。

2. 深层特征提取 (Deep Feature Extraction)：

• 这是网络的核心，由 个SMFAG (Self-Modulation Feature Aggregation Group)堆叠而成。
• 每个 SMFAG 内部包含多个SMFA Block和一个PCFN，末尾还有一个 卷积用于特征融合。
• 引入了长跳跃连接（Global Residual Learning），将浅层特征 直接加到深层特征的输出上，迫使网络只学习残差（即高频纹理），降低学习难度。

3. 图像重建 (Image Reconstruction)：

• 操作：经过深层特征提取后的特征，通过一个 卷积和一个 PixelShuffle 层（亚像素卷积）将分辨率放大到目标尺寸。
• Output：最终输出高分辨率图像 。

4.2 核心创新模块详解

模块 A：自调制特征聚合模块 (SMFA Block)

这是一个并行双分支结构，设计非常精妙：

• 内部拆解：

• 输入流：输入特征 被复制进入两个并行分支。

• 分支 1：EASA (Efficient Approximation of Self-Attention)：

• 目的：模拟 Transformer 的全局建模能力，但去除繁重的矩阵乘法。

• 实现：使用 卷积压缩通道 大核深度卷积 (Depth-wise Conv) 聚合空间信息 卷积恢复通道。这种结构能以极低的成本获得较大的感受野。

• 分支 2：LDE (Local Detail Estimation)：

• 目的：专门捕获 Transformer 容易忽略的高频局部细节。

• 实现：通常使用简单的 卷积来提取边缘和纹理信息。

• 核心机制：自调制 (Self-Modulation)：

• 将 EASA 分支的输出（包含全局上下文信息）作为“权重”，与 LDE 分支的输出（包含局部细节）进行逐元素乘法 (Element-wise Multiplication)。

• 公式：。

• 意义：这相当于利用全局语义信息来“指导”局部细节的恢复。例如，在平坦区域抑制噪声（低权重），在纹理丰富区域增强细节（高权重）。

模块 B：部分卷积前馈网络 (PCFN)

• 设计理念：传统 Transformer 中的 FFN（前馈网络）通常包含两个巨大的全连接层（或 卷积）和一个激活函数，参数量占据了大部分。PCFN 旨在降低这部分冗余。
• 工作机制：
• 引入Partial Convolution (PConv)的思想。
• 在进行特征变换时，只对特征图中的一部分通道（例如 1/4）进行卷积计算，而保持其余通道不变（Identity）。
• 这种操作利用了特征图通道间的冗余性，在几乎不损失性能的情况下，大幅降低了 FLOPs 和内存访问成本 (Memory Access Cost)。

4.3 理念与机制总结

SMFANet 的核心理念是“分而治之，协同增强”。

• 机制总结：它不再强求一个模块同时做好“全局”和“局部”两件事，而是将其解耦：EASA 负责“看大局”，LDE 负责“扣细节”。
• 数学解读：
  标准的 Attention 可以看作是 ，是一个全局加权聚合。
  SMFANet 将其简化为 。这里 (来自 EASA) 扮演了类似于 Attention Map 的角色，对 (来自 LDE) 进行空间上的加权。这不仅保留了 Attention 的动态特性，还避免了 的复杂度。

4.4 图解总结

回到动机图解中的核心问题：

• 针对“效率瓶颈”：EASA 和 PCFN 均采用线性复杂度的卷积操作，完全摒弃了重型的 Dot-product Attention，使得模型在图 1 中大幅向左（低计算量）移动。
• 针对“语义鸿沟/细节丢失”：LDE 分支显式地提取高频信息，并通过自调制机制与全局信息融合，解决了 Transformer 导致的平滑问题，使得模型在图 1 中大幅向上（高性能）移动。

5. 即插即用模块的作用

SMFANet 中的SMFA Block和PCFN具有极高的通用性，可以作为“即插即用”的组件应用到其他任务中：

1. 移动端视觉任务：由于其极低的计算量，非常适合替换 MobileNet 或 ShuffleNet 中的基本模块，用于轻量级的图像去噪、去模糊或低光照增强任务。
2. Transformer 的替代：在任何需要全局上下文但受限于算力的场景（如高分辨率医学图像分割或遥感图像处理），可以用 SMFA Block 替换标准的 Transformer Block，以降低显存占用。
3. YOLO 系列改进：可以将 PCFN 的思想引入到 YOLO 的 Backbone 或 Head 中，替换标准卷积，以进一步提升检测速度。

6. 实验部分简单分析

• 基准测试：论文在 Set5, Set14, BSD100, Urban100, Manga109 等标准数据集上进行了广泛测试。

• 结果分析：

• 性能：在 Urban100（包含大量结构纹理）等困难数据集上，SMFANet 的 PSNR/SSIM 指标显著优于同量级的 SwinIR-Light 和 ELAN。这证明了自调制机制在恢复规则纹理结构方面的优势。

• 效率：与 SwinIR 相比，SMFANet 在推理速度上可能有数倍的提升（具体需参考论文表格数据），且参数量大幅减少。

• 消融实验：作者验证了 EASA、LDE 和 PCFN 的有效性。去掉任何一个分支，性能都会有明显下降，证明了“全局-局部协同”的必要性。

到此，所有的内容就基本讲完了。如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。

7. 获取即插即用代码关注 【AI即插即用】