11.3 现代CNN变体：DenseNet、MobileNet、EfficientNet、Vision Transformer

11.3 现代CNN变体：DenseNet、MobileNet、EfficientNet、Vision Transformer

在ResNet突破深度瓶颈后，卷积神经网络的研究朝着更高效的特征复用、极致的轻量化、自动化的模型缩放以及超越卷积的架构演变。本节将深入剖析四个标志性的现代模型：DenseNet、MobileNet、EfficientNet和Vision Transformer。它们分别代表了特征连接范式、轻量化设计、模型缩放理论和骨干网络架构的根本性创新，共同塑造了当代计算机视觉模型设计的格局。

11.3.1 DenseNet：特征极致复用与集体知识

DenseNet（密集连接网络）由黄高等人于2017年提出，其核心思想是通过在网络的每一层与所有后续层之间建立直接连接，实现前所未有的特征复用，显著缓解了梯度消失问题，并大幅降低了参数量[1]。

1. 密集连接机制
与ResNet的逐层相加式残差连接不同，DenseNet采用串联式连接。对于一个包含LLL层的Dense Block，第lll层不仅接收来自第l−1l-1l−1层的输出，还接收其前面所有层的输出作为输入。因此，第lll层的输入xlx_lxl​是前面所有层输出特征图的拼接：
xl=Hl([x0，x1，…，xl−1])x_l = H_l([x_0， x_1， \ldots， x_{l-1}])xl​=Hl​([x0​，x1​，…，xl−1​])
其中[⋅][ \cdot ][⋅]表示通道维度上的拼接操作，Hl(⋅)H_l(\cdot)Hl​(⋅)代表第lll层的复合函数，通常包括批归一化（Batch Normalization）、ReLU激活函数和3×3卷积。

2. 网络架构与核心优势
DenseNet由多个Dense Block组成，块间通过被称为“过渡层”（包含1×1卷积和2×2平均池化）的结构来压缩特征图尺寸和控制通道增长。其核心优势体现在：

• 减轻梯度消失：深层神经元能直接从浅层损失函数获得监督信号，梯度路径更短。
• 促进特征复用：每层均可访问前面所有层的“集体知识”，网络无需重复学习冗余特征图。
• 参数高效：由于特征复用，每层只需生成少量新的特征图（即增长率kkk较小，如k=32k=32k=32），整体参数量远少于同等性能的ResNet。例如，在ImageNet数据集上达到相近精度时，DenseNet-201的参数仅为ResNet-101的约60%[1]。
• 隐式深度监督：密集连接具有正则化效果，能减少小数据集的过拟合。

3. 局限性与影响
其主要局限性在于密集拼接操作会消耗大量内存，尽管可以通过优化实现，但对硬件内存带宽要求高。DenseNet提出的密集连接思想深刻影响了后续架构设计，尤其在医学图像分割等需要多尺度特征融合的任务中显示出独特价值。

11.3.2 MobileNet系列：面向移动端的轻量化革命

MobileNet系列由Google团队提出，旨在将高性能的CNN部署到计算资源和功耗受限的移动或嵌入式设备上。其核心思路是通过深度可分离卷积替代标准卷积，在精度和效率间取得最优权衡[2]。

1. 深度可分离卷积
该操作是MobileNet的基石，它将标准卷积分解为两个独立步骤：

• 深度卷积：一个卷积核负责一个输入通道，进行空间滤波。其计算成本为DK×DK×M×DF×DFD_K \times D_K \times M \times D_F \times D_FDK​×DK​×M×DF​×DF​，其中DKD_KD