当前位置：首页 > news >正文

8.6 贝叶斯分类器：朴素贝叶斯与高斯过程分类

news 2026/6/10 11:13:29

8.6 贝叶斯分类器：朴素贝叶斯与高斯过程分类

贝叶斯分类器是一类基于贝叶斯定理与统计决策理论的分类方法。其核心思想是为每个可能的类别构建一个概率模型，描述在该类别下观测到特定数据的可能性，并结合类别的先验概率，通过贝叶斯定理计算样本属于各类别的后验概率，最终将样本分配给后验概率最大的类别。本节将深入阐述两种具有代表性的贝叶斯分类器：基于强条件独立性假设、高效简单的朴素贝叶斯分类器，以及基于非参数贝叶斯推断、能够提供预测不确定性的高斯过程分类器。

8.6.1 贝叶斯决策理论与分类框架

给定一个特征向量x∈Rd\mathbf{x} \in \mathbb{R}^dx∈Rd和类别标签y∈{ C1,C2,...,CK}y \in \{C_1, C_2, ..., C_K\}y∈{C1,C2,...,CK}，贝叶斯分类器的目标是找到能使期望风险最小化的决策。在0-1损失函数下，这等价于选择具有最大后验概率的类别。根据贝叶斯定理，后验概率为：
P(y=Ck∣x)=P(x∣y=Ck)P(y=Ck)P(x)∝P(x∣y=Ck)P(y=Ck) P(y=C_k | \mathbf{x}) = \frac{P(\mathbf{x} | y=C_k) P(y=C_k)}{P(\mathbf{x})} \propto P(\mathbf{x} | y=C_k) P(y=C_k)P(y=Ck∣x)=P(x)P(x∣y=Ck)P(y=Ck)∝P(x∣y=Ck)P(y=Ck)
其中：

P(y=Ck)P(y=C_k)P(y=Ck)是类别CkC_kCk的先验概率，可以通过训练集中各类别样本的频率估计。
P(x∣y=Ck)P(\mathbf{x} | y=C_k)P(x∣y=Ck)是类条件概率密度（或称似然），即在类别CkC_kCk下观测到特征x\mathbf{x}x的概率。这是构建贝叶斯分类器的关键和难点，因为需要对高维特征空间进行密度估计。
P(x)P(\mathbf{x})P(x)是证据因子，对所有类别相同，在比较时无需计算。

因此，贝叶斯最优分类器为：
y^=arg⁡max⁡CkP(y=Ck∣x)=arg⁡max⁡CkP(x∣y=Ck)P(y=Ck) \hat{y} = \arg\max_{C_k} P(y=C_k | \mathbf{x}) = \arg\max_{C_k} P(\mathbf{x} | y=C_k) P(y=C_k)y^=argCkmaxP(y=Ck∣x)=argCkmaxP(x∣y=Ck)P(y=Ck)
不同的贝叶斯分类器主要区别在于如何对类条件概率P(x∣y=Ck)P(\mathbf{x} | y=C_k)P(x∣y=Ck)进行建模与估计。