12.6 Transformer架构详解：自注意力、多头注意力与位置编码
12.6 Transformer架构详解：自注意力、多头注意力与位置编码
Transformer架构由Vaswani等人在2017年的论文《Attention Is All You Need》中提出，它彻底摒弃了循环与卷积结构，完全依赖注意力机制构建序列模型，成为自然语言处理乃至整个深度学习领域里程碑式的突破[1]。该架构的核心创新在于自注意力机制、多头注意力与位置编码，它们共同解决了传统序列模型的长期依赖、并行化训练和信息表示等根本性问题。本节将详细解析这一架构的核心组件及其工作原理。
12.6.1 自注意力机制：序列内部关系的动态建模
自注意力是Transformer的基石，其核心思想是让序列中的每个元素（如单词）通过计算与序列中所有元素（包括自身）的关联程度，来构建一个新的、富含上下文信息的表示。
12.6.1.1 基本概念与计算过程
给定一个输入序列的向量表示矩阵X∈Rn×dmodelX \in \mathbb{R}^{n \times d_{model}}X∈Rn×dmodel，其中nnn为序列长度，dmodeld_{model}dmodel为模型维度。自注意力通过三个可学习的线性变换矩阵WQ,WK,WV∈Rdmodel×dkW^Q, W^K, W^V \in \mathbb{R}^{d_{model} \times d_k}WQ,WK,WV∈Rdmodel×dk将其分别映射为查询、键和值矩阵：
Q=XWQ,K=XWK,V=XWV Q = X W^Q, \quad K = X W^K, \quad V = X W^VQ=XWQ,K=XWK,V=XWV
其中，dkd_kdk为查询/键的维度。随后，通过查询与键的点积计算注意力分数，经过缩放和归一化后，对值矩阵进行加权求和，得到输出矩阵ZZZ：
Attention(Q,K,V)=softmax(QKTdk)V=Z \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V = ZAttention(Q,K,V)=softmax(dkQKT)V=Z
这里，1dk\frac{1}{\sqrt{d_k}}dk