【小目标】
这一节点回答：除了文本，模型还能看懂什么、听懂什么、生成什么？ 也就是视觉、语音、多模态三大模态的能力谱系——各自能做什么、不能做什么、产品上怎么用。
这里最关键的一句话：多模态 = 让以语言为核心的模型接通"其它感觉"（图/音/视频），既能听懂它们，也能指挥它们被生成出来。 但多模态不是"什么都能做"，它有明确的边界和成本——知道这些边界，你就不会在产品上瞎想。
【方法论】
一句话结论：三大模态各有一条"看懂 → 造出"的能力谱系，多模态把它们在 LLM 中枢下统一起来；能力越来越强，但成本、合规、稳定性的挑战也更大。
按"能做什么"来梳理，三条线并行：
① 视觉感知与生成（F2.3）—— "看图 + 画图"
感知（看懂）谱系，从粗到细：
- 图像分类：整图归一个类（这是猫/车）——最粗
- 目标检测：框出"图里有几个、各自在哪"（坐标+类别）
- 实例/语义分割：按像素精确圈出每个物体/区域
- OCR / 版面分析：识别图中文字、分清文档结构——生产/办公场景最常用
生成（造出）谱系：
- 文生图 / 图编辑：文字提示变图、改图、超分
- 视频生成 / 理解：在图上加时间轴，生成视频或理解视频内容
关键提醒：
- 视觉生成的版权/合规是硬线——训练数据与生成内容的著作权风险要评估
- 质量带概率性，需人审/标注兜底
- 视频生成成本高、长视频一致性难——别单看宣传短片，要实测长镜头连贯性
② 语音识别与合成（F2.4）—— "听话 + 说话"
语音产品是一个"听到 → 想好 → 说出"的闭环：
- 语音识别（ASR）：把音频转成文本——是通话转写、字幕、语音搜索的地基
- 难点：口音、背景噪音、专有术语、长语音
- 评测：WER/CER（字错误率），越低越好
- 说话人相关（ASR 之外的独立任务）：
- 说话人识别/分离：区分"这通电话里谁是谁"
- 说话人验证：验证"声音是否某人本人"
- 语音合成（TTS）：把文本变成自然语音
- 关键维度：自然度、音色/情感、延迟、稳定性
- 声音克隆：少样本即可复刻指定音色——双刃剑（好用：个性化；滥用：冒充/诈骗）
- 语音对话工程：VAD（语音活动检测）+ 流式识别 + 打断处理 + TTS 播报，拼成顺畅的人机对话
关键提醒：
- ASR vs 说话人相关是不同任务，别混
- 识别只把声音变文字，"懂不懂"还要交给 NLU（第一章）
- 语音伪造合规风险是硬线
③ 多模态理解与生成（F2.5）—— "打通所有模态"
主流范式："一个骨干多用"——LLM 作为"中央处理器"，把其它模态当作"输入/输出"接通。
多模态输入（图/音/视频/文本）
↓ 统一编码：把各模态都"编码成 token"
↓ LLM 中枢：统一理解 + 推理
多模态输出（文本 / 出图 / 出音 / 出视频）
- 跨模态理解（VLM / 视觉语言模型）：让 LLM"看见"图/视频并读懂
- 能力：图片问答、OCR+文档理解、视频抽帧问答
- 注意：图像分辨率/切块影响准确性；幻觉仍存在；图占 token
- 跨模态生成（Any-to-Any）：一套模型完成 文本↔图↔音↔视频 的多向生成
- 从专项到统一：一个骨干多用，既能看图说、又能代写、还能出图出音
- 产品落地典型场景：
- 多模态内容生产：输入图片/口述/要点 → 输出图文、视频、音色成品
- 多模态客服：用户发截图 → VLM 读图 → 结合 RAG 知识 → 结构化答复
关键提醒：
- 能力边界：跨模态越自然越香，但也越贵、越难评测
- 别只信 demo，按任务实测跨模态一致性
- 成本、版权、质量稳定性是"内容型"产品的重点
共同局限（所有模态都要注意）：
- 幻觉存在：不只是文本，看图描述也会瞎编、语音合成也会有怪音
- 成本更高：多模态模型比纯文本贵，视频生成尤其贵
- 合规风险更大：图像/语音的版权、隐私、深伪风险都比纯文本更突出
- 评测更复杂：要多维衡量（图文一致性 + 音频自然度 + 视频帧稳定）
【知识点】
- 视觉 = 感知侧（看懂）+ 生成侧（造出）：感知从分类到 OCR 由粗到细，生成从文生图到视频生成
- 语音 = 识别（听懂）+ 合成（说出）+ 对话工程：三者拼成完整的语音交互闭环
- 多模态 = 把所有模态在 LLM 中枢下打通：输入什么都懂、要什么都能出，但成本更高、评测更复杂
- OCR 是办公/生产场景最常用的视觉能力：文档结构化、票据抽取、资料入库都靠它
- 声音克隆是双刃剑：好用但也容易被滥用，合规是硬线
- 多模态的共同挑战：幻觉、成本、合规、评测复杂度——比纯文本问题更多
- F2.3/F2.4 讲单项模态，F2.5 讲跨模态统一：各有侧重，按需选用
【名词卡】
| 名词 | 一句话解释 |
|---|---|
| Computer Vision / CV / 计算机视觉 | 让机器"看懂"图像/视频的技术领域，包括分类、检测、分割、OCR 等 |
| Image Classification / 图像分类 | 整图归一个类（这是猫/车），最粗粒度的视觉感知任务 |
| Object Detection / 目标检测 | 框出图里有几个物体、各自在哪（坐标+类别），比分类多"位置" |
| Segmentation / 分割 | 按像素精确圈出每个物体/区域，更细的"哪一块" |
| OCR / 光学字符识别 | 识别图中文字，把图像里的文字转成可编辑的文本 |
| Text-to-Image / T2I / 文生图 | 文字提示 → 扩散模型生成图像 |
| Diffusion Model / 扩散模型 | 文生图/视频的主流底层技术，通过"去噪"生成图像（原理见阶段① F1.5 生成式模型与扩散） |
| ASR / 自动语音识别 | 把语音转成文字，是语音交互的输入端 |
| TTS / 语音合成 / 文生语音 | 把文本变成自然语音，是语音交互的输出端 |
| VAD / 语音活动检测 | 判断什么时候有人在说话、什么时候停，是流式语音的基础 |
| WER / CER / 字错误率 | ASR 的核心评测指标，越低越好 |
| Voice Cloning / 声音克隆 | 少样本即可复刻指定音色，好用但也有深伪风险 |
| VLM / Vision-Language Model / 视觉语言模型 | 让 LLM 能看懂图像的模型，"看图说话" |
| Multimodal / 多模态 | 文本 + 图像 + 音频 + 视频等多种模态打通的模型/能力 |
| Any-to-Any / 任意到任意 | 一套模型能完成多种模态之间的相互转换（文本↔图↔音↔视频） |
| Deepfake / 深伪 | 用 AI 生成的伪造音视频，合规与安全风险高 |
易混对比：
- 单项模态（F2.3/F2.4）vs 跨模态统一（F2.5）：前者聚焦单个模态本身，后者讲"把多种模态在 LLM 里打通"
- ASR vs 说话人识别：ASR 是"转文字"，说话人识别是"判断是谁"——不同任务
- 感知 vs 生成：看懂是感知，造出是生成——同属一个模态但机制不同
【练一练】
目标：亲手感受多模态能力——找一个可用的多模态模型（如 GPT-4o / Claude 3 / 文心一言 / 通义千问的多模态版本），体验看图问答和文生图。
实验（如果有条件就做，没条件就脑补）：
A 组：看图问答（VLM）
- 找一张有文字的截图（比如一张 APP 界面截图、一张菜单照片、一张商品详情页截图）
- 发给多模态模型，问："这张图里写了什么？帮我提取成文字。"
- 观察：OCR 准确吗？格式对吗？有没有看错的地方？
- 再问一个需要"理解"的问题："这张图里最贵的商品是什么？多少钱？"
- 观察：模型能正确理解并推理吗？
B 组：文生图（如果有条件）
- 写一个提示词："一张电商主图，展示一款红色无线耳机，白色背景，产品摄影风格"
- 生成 2–3 张，观察：
- 符合提示词吗？（颜色、主体、风格）
- 有没有奇怪的地方（变形、多余的手指、文字乱码等）？
- 每次生成的结果一样吗？（和文本生成一样有随机性）
思考题：
- 如果你的产品是"电商商品图批量生成"，你会面临哪些挑战？（版权？质量稳定性？一致性？成本？）
- 如果你的产品是"客服看图解答"，VLM 可能会犯什么错？你会怎么设兜底？