构筑 AI 理论体系：深度学习 100 篇论文解读 第十八篇：LSTM 的精简替代——门控循环单元 GRU (2014)
构筑 AI 理论体系：深度学习 100 篇论文解读
第十八篇：LSTM 的精简替代——门控循环单元 GRU (2014)
I. 论文背景、核心命题与作者介绍 💡
在LSTM (1997)统治序列建模领域十多年后，研究人员开始探索更高效、参数更少的门控循环网络结构。LSTM 的三个门和细胞状态虽然功能强大，但也导致其计算成本高、参数量大，且结构复杂。
Kyunghyun Cho及其团队在2014 年提出了门控循环单元（GRU），它是对 LSTM 结构的一次精简和融合。GRU 将 LSTM 的三个门减少为两个门，并取消了独立的细胞状态，使其在保持对长期依赖的捕获能力的同时，拥有更高的计算效率。
核心作者介绍
| 作者 | 国籍 | 机构（2014 年时） | 核心贡献 |
|---|---|---|---|
| Kyunghyun Cho (赵竟玄) | 韩国 | University of Montreal (Yoshua Bengio 团队) | 提出了 GRU，后在纽约大学任职，是自然语言处理领域的关键人物。 |
| Yoshua Bengio | 加拿大 | University of Montreal | 深度学习三巨头之一，GRU 论文的共同作者。 |
| 信息项 | 详情 |
|---|---|
| 论文题目 | Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation |
| 发表年份 | 2014 年 |
| 出版刊物 | EMNLP (Conference on Empirical Methods in Natural Language Processing) |
| 核心命题 | 如何设计一种更简洁高效的循环单元，在不使用独立的细胞状态和三个门的情况下，依然能有效解决标准 RNN 的梯度消失问题和长期依赖问题？ |
II. 核心机制：两个门和隐藏状态融合 ⚙️
GRU 的核心在于其结构上的简化，它将 LSTM 的三个门和两个状态（隐藏状态hth_tht和细胞状态CtC_tCt）融合为两个门和一个单一的隐藏状态hth_tht。
1. 门的数量减少和融合
GRU 只有两个门：
| 门名称 | 对应 LSTM 的融合功能 | 作用 |
|---|---|---|
| 更新门 (ztz_tzt) | 遗忘门 + 输入门 | 决定保留多少旧信息，引入多少新信息。ztz_tzt接近 1 时，倾向于保留旧的隐藏状态ht−1h_{t-1}ht−1；接近 0 时，倾向于用新的候选隐藏状态h~t\tilde{h}_th~t完全覆盖旧状态 |