5.5 信息论在机器学习中的应用：正则化、特征选择与模型比较
5.5 信息论在机器学习中的应用：正则化、特征选择与模型比较
信息论不仅为理解和量化信息提供了坚实的数学基础，其核心概念——熵、互信息和Kullback-Leibler散度——更在机器学习的算法设计、理论分析和实际应用中扮演着至关重要的角色。这些概念超越了其通信理论的起源，成为指导模型构建、防止过拟合、提取关键特征以及评价模型性能的深层原理。本节将系统阐述信息论在机器学习中三个核心方面的应用：作为防止过拟合与引导学习过程的正则化框架、作为识别相关且非冗余特征的特征选择准则，以及作为量化模型分布与数据分布差异的模型比较与评估工具。
5.5.1 作为正则化框架的信息论
正则化的核心目的是在模型拟合数据与保持模型简洁性之间取得平衡，以防止过拟合。信息论概念为这种平衡提供了多种原则性的、可解释的实现路径。
最大熵原理与参数先验：最大熵原理指出，在所有满足给定约束条件的概率模型中，应选择熵最大的那个，因为它在已知信息下做出了最少的附加假设。在贝叶斯框架下，这直接引导了先验分布的选择。
- 无信息先验：例如，对于一个在有限区间[a,b][a, b][a,b]内取值的参数，其最大熵先验是均匀分布。对于均值和方差未知的正态分布均值参数，其位置参数的最大熵先验是 improper 的均匀分布。
- 正则化视角：从优化角度看，带有特定先验的贝叶斯最大后验估计等价于在经验风险上增加正则项。例如，高斯先验对应L2正则化（权重衰减），拉普拉斯先验对应L1正则化（诱导稀疏性）。这些正则化项可以理解为对模型参数分布施加的熵约束或复杂性惩罚。
信息瓶颈理论：信息瓶颈提供了一种将监督学习视为信息压缩过程的深刻视角。给定输入数据XXX和目标任务YYY，模型旨在学习一个中间表示TTT。IB理论的目标是找到一个表示TTT，在最小化其与XXX的互信息I(X;T)I(X; T)I(X;T)（压缩）的同时，最大化其与YYY的互信息I(T;Y)I(T; Y)I(T;Y)（预测）[1]。
- 目标函数：这可以形式化为一个拉格朗日优化问题：
minp(t∣x)[I(X;T)−βI(T;Y)]\min_{p(t|x)} \left[ I(X; T) - \beta I(T; Y) \right]p(t∣x)min[I(X;T)−βI(T;Y)]
其中β\betaβ是权衡压缩与预测的超参数。 - 作为正则化：IB目标可以视作一种信息论意义上的正则化。第一项I(X;T)I(X; T)I(X;T)控制表示的复杂性，防止其记忆过多与任务无关的输入细节（即过拟合）；第二项I(T;Y)I(T; Y)I(T;Y)确保表示对目标任务具有预测性。深度学习中的训练过程（尤其是具有噪声或Dropout的训练）被发现与IB原则有内在联系，揭示了深度网络学习有效表示的普适机制。
- 目标函数：这可以形式化为一个拉格朗日优化问题：
PAC-Bayes理论：可能近似正确贝叶斯理论为学习算法的泛化误差提供了基于信息论边界的保证。其核心结论将泛化误差与训练误差、模型复杂度（通过后验分布与先验分布的KL散度衡量）联系起来。一个典型的PAC-Bayes边界形如：
Eθ∼Q[R(θ)]≤Eθ∼Q[R^(θ)]+DKL(Q∥P)+logmδ2(m−1) \mathbb{E}_{\theta \sim Q}[R(\theta)] \le \mathbb{E}_{\theta \sim Q}[\hat{R}(\theta)] + \sqrt{\frac{D_{KL}(Q \| P) + \log \frac{m}{\delta}}{2(m-1)}}Eθ∼Q[R(θ)]≤Eθ∼Q[R^(θ)]+2(m−1)D