构筑 AI 理论体系：深度学习 100 篇论文解读 第十七篇：解决长期依赖问题的基石——长短期记忆网络 LSTM (1997)
构筑 AI 理论体系：深度学习 100 篇论文解读
第十七篇：解决长期依赖问题的基石——长短期记忆网络 LSTM (1997)
I. 论文背景、核心命题与作者介绍 💡
在1990 年代，循环神经网络（RNN）在处理序列数据时，因梯度消失而无法有效学习相隔较远的时间步之间的关系，即存在长期依赖问题（Long-Term Dependency Problem）。
Sepp Hochreiter 和 Jürgen Schmidhuber (1997)提出了长短期记忆网络（LSTM），通过引入精巧的门控机制和细胞状态，从根本上解决了梯度消失问题，使深度学习能够处理复杂的长期序列数据。
核心作者介绍
| 作者 | 国籍 | 机构（1997 年时） | 核心贡献 |
|---|---|---|---|
| Sepp Hochreiter | 奥地利 | Technical University of Munich | 奠定了 LSTM 的核心机制，现在是奥地利人工智能界的重要人物。 |
| Jürgen Schmidhuber | 德国 | IDSIA / University of Lugano | 深度学习早期先驱，LSTM 的共同发明者。 |
| 信息项 | 详情 |
|---|---|
| 论文题目 | Long Short-Term Memory |
| 发表年份 | 1997 年 |
| 出版刊物 | Neural Computation |
| 核心命题 | 如何设计一种新型的 RNN 神经元（细胞），使其能够选择性地记忆和遗忘信息，从而有效捕捉时间序列中的长期依赖关系？ |
II. 核心机制：细胞状态与门控 ⚙️
1. 细胞状态 (C t C_tCt)：信息高速公路
C t C_tCt是 LSTM 的核心。它像一条信息高速公路，信息可以直接在上面流动，只有少量的线性交互。这种结构使得梯度可以更容易地沿着这条路径反向传播，从而防止了梯度消失。
2. 三个关键的“门”与决策原则（细化）
每个门都由一个Sigmoid 激活函数（输出 0 到 1 的值）控制，决定了信息的通过量。门的决策依据是当前的输入x t x_txt和前一个时间步的隐藏状态h t − 1 h_{t-1}ht−1，因为它包含了当前时刻之前的所有上下文信息。
| 门名称 | 决策目标 | 决策依据 / 原则 |
|---|---|---|
| 遗忘门 (f t f_tft) | 过滤旧的记忆。 | 原则：基于x t x_txt和h t − 1 h_{t-1}ht−1，判断旧的细胞状态C t − 1 C_{t-1}Ct−1中的信息是否与当前任务和上下文不再相关。Sigmoid 输出接近 0 时，表示彻底遗忘；接近 1 时，表示完全保留。 |
| 输入门 (i t i_tit |