【小目标】
这一节点回答：NLU 的能力边界在哪、哪些事它稳、哪些事它靠猜、又该怎么评测它好不好。 价值在于——知道边界才不会把"做不到的事"硬塞给模型，也才知道该怎么衡量"够不够用"。
很多人对 NLU 的误解是"模型越大理解越强"，但现实是：业务场景里理解好不好，80% 取决于你怎么定义意图、怎么标数据、怎么设兜底，只有 20% 取决于模型本身。 理解的天花板，更多是产品设计出来的，不是模型天然带来的。
【方法论】
一句话结论：理解的边界 = 任务定义清晰度 × 数据覆盖度 × 兜底设计完备度。 三个维度都到位，理解就稳；任何一个掉链子，效果都会差。
具体从三个维度判断边界：
① 任务定义清晰度——边界越清楚，理解越稳
- 意图之间边界越不重叠越好。如果"查物流"和"查订单"经常混，说明你定义的意图本身就有交叉，别怪模型。
- 槽位 schema 越明确越好。"价格"到底是单价还是总价？"时间"是日期还是时长？字段定义模糊，标注就会乱，模型就学不准。
- 产品原则：宁可选 5 个边界清晰的意图 + 一个大兜底，也不要 20 个互相重叠的意图。
② 数据覆盖度——没见过的说法它就不会
- 模型是从数据里学规律的。你的目标用户会怎么说、有哪些口音/行话/简称，如果训练/标注数据里没有，模型就很难识别对。
- 长尾覆盖是理解效果的关键战场——80% 的常见说法都好识别，难就难在 20% 的冷门表达。
- 怎么办：从真实用户日志里捞高频未命中说法，持续补数据、迭代意图。别靠脑补"用户会怎么说"。
③ 兜底设计——再强的模型也需要兜底
- 置信度阈值：模型识别意图时会给出一个置信度分数，低于阈值就别硬猜，转人工或反问澄清。
- 多轮澄清：信息不够时主动追问补槽（"您说的是哪个型号呢？"），而不是一次就猜到底。
- 情绪/闲聊兜底：用户说"你们这也太烂了"，不是任何业务意图，应该有专门的情绪承接话术。
评测怎么测（别只看一个准确率）：
| 任务 | 核心指标 | 产品层还要看 |
|---|---|---|
| 意图识别 | 准确率 / 精确率 / 召回率 | 兜底覆盖率（多少低置信度被正确转人工）、误路由率（错了会造成多大业务损失） |
| 实体 / 槽位 | F1（精确率与召回的调和） | 字段级错误率、漏抽率、是否有校验兜底 |
| 语义匹配 | Spearman 相关 / NDCG@K / 召回 | 实际 FAQ 命中率、用户点击/采纳率 |
| 信息抽取 | 字段级 F1 / 三元组正确率 | 入库后下游任务的可用率 |
关键提醒：别只测离线分类指标，要看产品层兜底与转发是否成立。离线准确率 95% 听起来很高，但如果错的那 5% 恰好是最关键的售后单，在产品上就是灾难。
【知识点】
- 理解好不好，80% 靠产品设计（意图定义 + 数据覆盖 + 兜底），20% 靠模型本身。 别把所有锅都甩给模型。
- 意图宁少勿滥：边界清晰的 5 个意图 + 大兜底，远好于互相重叠的 20 个意图。
- 长尾是主战场：常见说法谁都能识别准，差距在冷门表达覆盖得够不够。从真实日志捞数据，别脑补。
- 置信度阈值是安全网：低于阈值就转人工/澄清，别让模型硬猜。这是产品能控制的最重要的兜底开关。
- 评测不能只看一个数：离线指标 + 产品层指标（兜底覆盖率、误路由后果、下游可用率）一起看才全面。
【名词卡】
| 名词 | 一句话解释 |
|---|---|
| Confidence / 置信度 | 模型对自己识别结果"有多确定"的打分，低于阈值就该兜底，别硬猜 |
| F1 Score / F1 值 | 精确率和召回率的调和平均，是实体/槽位抽取最常用的综合指标 |
| Precision / 精确率 | 模型说"是"的里面，有多少真的是——"准不准" |
| Recall / 召回率 | 所有真正"是"的里面，模型捞到了多少——"全不全" |
| NDCG@K | 排序质量指标，衡量前 K 条结果的排序好坏，常用于检索/匹配任务 |
| NLI / 自然语言蕴含 | 判断"一个句子是否被另一句所蕴含"，是分类、抽取类任务的上游能力 |
| Structured Output / 结构化输出 | 强制模型按预设 schema 输出固定格式（JSON），让自由文本变程序可消费数据 |
易混对比：
- 精确率 vs 召回率：一个看"准不准"（猜对的比例），一个看"全不全"（捞到多少），二者通常此消彼长
- 离线指标 vs 产品指标：离线准确率再高，如果错的都是高风险场景，产品上就是灾难
【练一练】
目标：亲手感受"边界和兜底"怎么设计——拿一个真实的理解场景，判断哪些地方容易踩坑、该怎么设兜底。
实验：假设你在设计一个外卖客服的意图识别系统，业务有这些意图：
- 查订单、催单、退款申请、改地址、投诉商家、开发票、闲聊、转人工
请你分析以下三句话，回答：
- 这句话最可能对应哪个意图？
- 模型有没有可能判错？可能误判成什么？
- 如果判错了，业务后果严重吗？（高/中/低）
- 你会怎么设兜底？（提高置信度阈值 / 转人工 / 多轮澄清 / 其他）
三句话：
- A："我的饭怎么还没来？"
- B："这也太难吃了吧"
- C："帮我改一下地址"
对照思路（做完再看）：
- A：最可能=催单；可能误判=查订单；后果=中（催单和查订单体验差不少，但不至于出大错）；兜底=置信度低时反问"您是想查订单到哪了，还是想催一下呢？"
- B：最可能=投诉商家；可能误判=闲聊；后果=高（投诉被当成闲聊会火上浇油）；兜底=投诉类意图设较低阈值，宁可误报也别漏掉；情绪识别辅助触发人工
- C：最可能=改地址；可能误判=其他；后果=中（地址改错了单就送错了）；兜底=改地址后必须二次确认"是改成 XX 地址对吗？"
思考题：这三句话里，哪一句的误判后果最严重？你会给它分配最多的标注数据和最严密的兜底吗？为什么？