【小目标】
这一节点回答:全参微调贵到大多数团队做不起,怎么用 LoRA/QLoRA 让"小团队微调"变得负担得起。 价值在于——用很小的资源也能做出领域风格、格式上的适配,而且产出的是"小文件、多版本、可回滚"的结果,对产品和运维都很省心。
【方法论】
两条关键机制的递进逻辑:
- LoRA(Low-Rank Adaptation,低秩适配):只训练权重里一个很小的"低秩增量矩阵(A×B)"、冻结其余参数。只需调原始参数约 0.1%–1%,就能在普通单卡微调,并产出一个很小的增量文件(adapter)——易分发、易多版本并存、易回滚。
- QLoRA = 量化 + LoRA:在 LoRA 基础上再对权重量化,进一步省显存,让消费级/单卡也能微调更大的模型。
重要边界:LoRA 适配"任务/风格/格式",不改变模型已学到的世界知识——想"加知识"走 RAG,不要指望微调。
【知识点】
- LoRA 的三个红利:极省资源(只调 0.1%–1%)、可单卡、易分发回滚。
- 小增量文件天然运维友好:小文件、多版本、可回滚,配合第六章的版本化正好。
- QLoRA 是消费级钥匙:要跑更大模型又缺显存,就"量化+LoRA"。
【名词卡】
| 名词 | 一句话白话 |
|---|---|
| LoRA|低秩适配 | PEFT 主流代表:在原权重旁训练一个小的"低秩增量矩阵(A×B)",只调它、其余冻结;极省资源、易分发回滚。 |
| QLoRA|量化+LoRA | 在 LoRA 基础上对权重量化进一步省显存,让消费级/单卡也能微调更大模型。 |
易混点:LoRA(调 0.1%–1% 增量)≠ 全参(整体重训);它改"风格/格式",不增加"世界知识"。
【练一练】
微观小实验(聚焦本节点,约 5 分钟):感受"LoRA 只动一小块"的直觉。
- 回想或查证:一次 LoRA 微调,最终改动的是"一个大的权重文件"还是"一个小的 adapter 增量文件"?
- 顺着"小增量文件"推演:为什么它天然适合"多版本并存 + 秒回滚"(呼应第六章的版本化)?
- 验证:用一句话解释"为什么 LoRA 改不了模型的世界知识"。