大模型从0到精通：蒙眼下山法-AI如何一步步“摸索”到最优解？
本文是《大模型从0到精通》系列第一卷“奠基篇”的第三章。上章我们建立了“错题山谷”和评分标准（损失函数），但怎么找到山谷最低点？本章将引入梯度下降——AI在“错题山谷”中蒙眼下山的寻路算法，这是驱动所有AI（包括千亿参数大模型）学习的核心引擎。
一、蒙眼下山：一个朴素的生存智慧
想象你蒙着眼，站在“错题山谷”的某个山坡上（一组随机的a,b初始值）。四周漆黑一片，你怎么走到谷底？
你只能靠脚感受坡度：
- 用脚探测东西南北哪个方向最陡峭
- 沿着最陡的下坡方向迈出一步
- 重复这个过程，直到走到平地
这就是梯度下降的核心思想：不知道全局地形，只靠局部信息，一步步摸索到最低点。
二、梯度：山谷的“最陡下坡指南针”
从感觉坡度到数学计算
用脚感觉坡度是物理直觉，数学上怎么表达？
梯度（Gradient）= 山谷在每个点的“最陡下坡方向指南针”
对于我们的奶茶模型：
- 参数空间：(a, b) 二维平面
- 损失函数：L(a, b) = MSE值
- 梯度：∇L = [∂L/∂a, ∂L/∂b]
梯度是一个向量：
- 方向：指向让损失上升最快的方向
- 大小：坡度陡峭程度（坡度越陡，梯度越大）
关键操作：我们取梯度的反方向，因为我们要下降，不是上升。
梯度计算示例
假设在点(a=3, b=30)处：
- ∂L/∂a = -2.4（损失对a的偏导）
- ∂L/∂b = 1.8（损失对b的偏导）
- 梯度：∇L = [-2.4, 1.8]
- 反方向：-[∇L] = [2.4, -1.8] ← 这就是我们的下坡方向！
三、学习率：谨慎的“一步距离”
知道了方向，走多远？
学习率（Le