15.3 模型不确定性量化：贝叶斯神经网络、蒙特卡洛Dropout与集成方法

15.3 模型不确定性量化：贝叶斯神经网络、蒙特卡洛Dropout与集成方法

在安全关键的人工智能应用领域，模型的预测不仅需要准确，更需要对其自身的“不确定程度”有清晰的认知。传统深度学习模型通常输出确定性的点估计，无法区分“有把握的准确”与“侥幸猜对”，在面对分布外数据或模糊输入时，可能做出过度自信的错误决策。模型不确定性量化旨在解决这一问题，其核心是通过数学方法，让模型能够评估并输出其预测的可靠程度。这种评估通常被解构为两类：认知不确定性和偶然不确定性。认知不确定性源于模型自身知识的不足，可通过增加训练数据来减少；偶然不确定性则源于数据固有的噪声，无法通过增加数据消除。本节将系统阐述三种主流的模型不确定性量化方法：贝叶斯神经网络、蒙特卡洛Dropout与集成方法，剖析其理论基础、实现路径及优缺点。

15.3.1 贝叶斯神经网络：概率权重与变分推断

贝叶斯神经网络是量化模型不确定性的根本性框架。其核心思想在于，将神经网络中所有确定性的权重参数w\mathbf{w}w，替换为概率分布。也就是说，BNN学习的是一个权重参数的后验分布p(w∣D)p(\mathbf{w} | \mathcal{D})p(w∣D)，其中D\mathcal{D}D为训练数据，而非一组最优的点估计值。

15.3.1.1 理论基础与预测分布

在BNN中，给定新输入x∗\mathbf{x}^*x∗，其预测输出y∗\mathbf{y}^*y∗不再是一个确定值，而是通过贝叶斯模型平均得到的预测分布：
p(y∗∣x∗,D)=∫p(y∗∣x∗,w)p(w∣D)dw p(\mathbf{y}^* | \mathbf{x}^*, \mathcal{D}) = \int p(\mathbf{y}^* | \mathbf{x}^*, \mathbf{w}) p(\mathbf{w} | \mathcal{D}) d\mathbf{w}p(y∗∣x∗,D)=∫p(y∗∣x∗,w)p(w∣D)dw
该积分表示，模型的最终预测是所有可能网络权重配置（根据其后验概率加权）下预测的期望。预测分布的方差即为我们所求的总体不确定性。理论上，认知不确定性可通过该后验分布的散度（如熵）来度量。

15.3.1.2 变分推断：实践中的近似解法

计算真实后验p(w∣D)p(\mathbf{w} | \mathcal{D})p(w∣D)是难以处理的。实践中普遍采用变分推断方法，用一个由参数θ\thetaθ定义的简单分布qθ(w)q_\theta(\mathbf{w})qθ​(w)（如高斯分布）来近似真实后验。训练目标是最小化qθ(w)q_\theta(\mathbf{w})qθ​(w)与p(w∣D)p(\mathbf{w} | \mathcal{D})p(w∣D)之间的KL散度，这等价于最大化证据下界：