【概念地基-6】生成模型是什么：AI 怎么"创造"新东西

【小目标】

这一节点回答：生成式模型是什么？它和判别式模型有什么区别？大语言模型是怎么生成文本的？

关键判断：生成模型不是"检索"，而是"创造"——它生成的内容是训练数据里没有的全新内容。 但它的"创造"是基于概率的——选择最可能的下一个词。

【方法论】

一句话结论：生成式模型 = 学习数据的分布，然后从中采样出"像训练数据但又是新的"内容。 大语言模型生成文本的方式就是"一个词一个词地预测下一个最可能的词"。

判别式模型 vs 生成式模型
  判别式模型：判断 → 这是猫还是狗？（回答问题）
  生成式模型：生成 → 生成一张猫的图片（创造内容）

① 什么是生成式模型？

• 判别式模型：学习"输入到输出"的映射——给一个输入，预测它属于哪一类
  • 比如：分类、识别、预测
• 生成式模型：学习"数据本身的分布"——然后生成和训练数据"同分布"的新样本
  • 比如：写文章、画画、作曲

打个比方：判别式模型是"鉴赏家"——能分辨好坏真假；生成式模型是"艺术家"——能自己创作。

② 大语言模型是怎么生成文本的？

核心原理非常简单：预测下一个词。

输入："今天天气真"
模型预测下一个词：好（概率 80%）、不错（概率 10%）、热（概率 5%）...
选概率最高的 → "好"
现在输入变成："今天天气真好"
再预测下一个词 → "，"
再预测 → "适合"
...
就这样一个词一个词地生成下去

• 这叫自回归生成——每一步的输出都作为下一步的输入
• 听起来很简单，但模型要足够大、数据足够多，才能预测得准

③ 温度（Temperature）：控制"创造性"的旋钮

• 温度高（比如 1.5）：概率分布更"平"——更可能选到概率不那么高的词 → 更有创意，但也更离谱
• 温度低（比如 0.3）：概率分布更"尖"——几乎只选概率最高的词 → 更确定、更保守，但也更无聊
• 温度 = 1：正常水平

温度是生成式模型的一个关键参数——控制"确定性"和"创造性"的平衡。不同的场景需要不同的温度。

④ 为什么大模型能"理解"和"推理"？

这是一个很深的问题，目前学术界也没有完全的答案。但大致的共识是：

• 当模型足够大、数据足够多的时候，单纯的"预测下一个词"会催生出"涌现能力"

• 涌现能力：模型小的时候没有，模型大到一定程度突然就有了

• 比如：推理、数学、编程、多步任务……这些能力在小模型上看不到，大模型上突然就有了

• Scaling Law（缩放定律）：模型性能和参数数量、训练数据量、计算量有可预测的关系——大致是幂律增长

• 简单说：模型变大、数据变多、算力变多，性能就会持续变好——而且这个趋势还没到顶

⑤ 生成式模型的几种主要类型

类型	原理	擅长	代表
自回归模型	一个词一个词地生成	文本	GPT 系列、LLaMA
扩散模型	从噪声中逐步"去噪"生成图像	图像	Stable Diffusion、DALL·E
GAN	生成器和判别器"对抗"学习	图像	（曾经很火，现在被扩散超越）
VAE	编码器 + 解码器 + 潜在空间	图像/数据压缩	（偏学术）

【知识点】

• 生成式模型 = 学习数据分布，然后创造新样本——不是检索，是真正的"创造"。
• 大语言模型生成文本的原理是"预测下一个词"——一个词一个词地生成，简单但强大。
• 温度控制创造性：温度高更有创意但更离谱，温度低更确定但更无聊。
• 涌现能力：模型大到一定程度会突然获得新能力，这是大模型最神奇的地方。
• Scaling Law：模型越大、数据越多、算力越强，性能就越好——趋势还在继续。
• 主要的生成模型类型：自回归（文本）、扩散（图像）、GAN、VAE。

【名词卡】

名词	一句话解释
Generative Model / 生成式模型	能生成新内容的模型，学习的是数据的分布
Discriminative Model / 判别式模型	用来判断/分类的模型，学习的是输入到输出的映射
Autoregressive / 自回归	生成方式的一种——每一步的输出作为下一步的输入，逐个生成
Temperature / 温度	控制生成随机性的参数——高=更随机更有创意，低=更确定更保守
Emergent Ability / 涌现能力	模型大到一定程度突然出现的能力，小模型上没有
Scaling Law / 缩放定律	模型性能随参数、数据、算力增长而可预测提升的规律
Diffusion Model / 扩散模型	通过逐步去噪生成图像的模型，当前图像生成的主流
GAN / 生成对抗网络	生成器和判别器对抗学习的生成模型，曾火过一段时间
Sampling / 采样	从模型的概率分布中选一个词/像素的过程
Top-p / Top-k 采样	限制候选词范围的采样策略，让生成更可控

易混对比： 生成式 vs 判别式（一个创造、一个判断）；温度高 vs 温度低（一个有创意、一个稳定）

【练一练】

目标： 用"接句子"游戏，模拟"预测下一个词"是怎么生成文本的。

实验： 和朋友玩一个游戏（或自己想）：

1. 第一个人说："今天我去"
2. 第二个人接一个词："超市"（你觉得概率最高的下一个词是什么？）
3. 第一个人再接："买"
4. 第二个人再接："了"
5. ……继续接下去

然后换一种玩法：

• "低温模式"：每次都接最可能、最正常的词 → 看看生成的句子是什么样
• "高温模式"：每次接一个不太常见但说得通的词 → 看看生成的句子是什么样

思考题：

• 低温模式生成的句子是什么感觉？（通顺？无聊？合理？）
• 高温模式生成的句子是什么感觉？（有趣？离谱？有创意？）
• 你觉得写文章、做翻译、写代码——分别应该用高温还是低温？为什么？
• 如果让你预测"今天天气真"后面是什么，你会想到哪些词？按概率从高到低排 5 个。