AI大佬吐血整理：200页！《大模型的关键技术》大模型训练、推理、微调；从原理到技术细节
终于有人把大模型训练、推理、微调：从原理到技术细节讲清楚了！
语言大模型技术主要包括：模型预训练、适配微****调、提示学习、知识增强和工****具学习等。
🌈大模型微调方法：
1️⃣oRA
2️⃣Adapter-Tuning
3️⃣Prefix-Tuning
4️⃣P-Tuning
5️⃣Prompt-Tuning
✅LoRA（Low-Rank Adaptation）
LoRA 是一种面向大模型高效微调的低秩适配方法。它在预训练模型的权重更新中引入低秩分解矩阵，仅训练这些新增的小规模参数，从而在几乎不改动原始模型的前提下，有效捕捉任务特定信息。该方法显著降低了微调所需的计算开销与存储成本，同时保持优异的性能。
✅Adapter
Adapter 通过在预训练模型的各层中插入轻量级、可训练的子模块（即“适配器”），实现对新任务的快速适配。原始模型参数被冻结，仅训练这些小型模块，既减少了资源消耗，又避免了对主干网络结构的干扰，特别适用于超大规模模型的多任务迁移。
✅Prefix-Tuning
Prefix-Tuning 针对 Transformer 的自注意力机制进行优化，通过在输入序列前添加一组可学习的前缀向量，并将其与键（Key）和值（Value）拼接，引导模型关注任务相关信息。该方法无需修改模型原有参数或结构，仅通过优化前缀即可实现高效任务适配。
✅P-Tuning
P-Tuning 利用可学习的连续提示（soft prompts）替代传统离散文本提示，并通过 LSTM 或 MLP 等结构对提示嵌入进行优化，以更好地建模任务语义。整个过程仅更新提示参数，保持预训练模型冻结，兼具灵活性与高效性。
✅Prompt-Tuning
Prompt-Tuning 是一种极简的参数高效微调方法，将任务指令编码为可训练的前缀提示嵌入，并作为输入的一部分送入模型。通过仅优化这些提示向量，即可引导大型语言模型完成特定下游任务，而无需调整任何原始模型参数。