04 失败行为:把「不知道」设计好
一句话结论
「不相关」不是一种问题,而是三种:社交性输入、能力外请求、站内内容空洞。用规则处理封闭集合,用检索分数处理发散请求,用 prompt 自检兜住长尾;失败路径尽量不依赖模型,才能既快又稳。
它解决什么问题
默认实现里,所有输入都走同一条 retrieve → generate:
"你好" → 检索 → 生成 → 花 1~2 秒得到一句怪话
"今天天气怎么样" → 检索 → 生成 → 拿部署文章硬答
"站内没有的问题" → 检索 → 生成 → 硬编或机械拒答
问候、天气、内容空洞,在代码里没有任何区别。这不是模型的问题,是入口没有分流。
先把「不相关」拆开
| 类型 | 例子 | 特征 | 处理者 |
|---|---|---|---|
| 社交性输入 | 你好、谢谢、再见、你是谁 | 封闭集合、模式稳定 | 规则 |
| 能力外请求 | 天气、写诗、翻译 | 模式发散、无法穷举 | 检索分数 + prompt |
| 站内内容空洞 | 站里没写过的问题 | 只能检索后知道 | 分数分级 + 兜底 |
不要用关键词表穷举第二类。 天气、气温、下雨、新闻、股价、翻译、写代码、算数学……列不完;而且「温度对模型推理有什么影响」会被误伤。
规则只管封闭的第一类,第二类交给检索分数——那是你本来就要付的 embedding 成本。
三层漏斗
query
│
├─ 第 0 层:规则(~0ms,0 成本)
│ 问候 / 感谢 / 身份 / 能力 / 空 → respond → END
│
├─ 第 1 层:检索分数(本来就要付的 embedding)
│ top < 阈值 → out_of_scope → END(不调生成模型)
│
└─ 第 2 层:生成时自检(零额外调用)
prompt 声明范围,长尾问题由模型自己踩刹车
每层比上一层贵,只有上一层没解决才进入下一层。
第 0 层:规则分流
SCOPE = "本站的构建日志、RAG 后端、测试与部署、前端实现"
GREETING = re.compile(
r"^\s*(你好|您好|hi|hello|hey|嗨|哈喽|在吗|在不在|早上好|下午好|晚上好)"
r"[\s!!。,.,~~??]*$",
re.IGNORECASE,
)
THANKS = re.compile(r"^\s*(谢谢|谢了|感谢|thanks|thank you|thx)[\s!!。,.,~~]*$", re.IGNORECASE)
BYE = re.compile(r"^\s*(再见|拜拜|bye|goodbye)[\s!!。,.,~~]*$", re.IGNORECASE)
IDENTITY = re.compile(r"(你是(谁|什么)|介绍一下你(自己)?|你叫什么)")
CAPABILITY = re.compile(r"(你能(做|回答|帮|干)什么|你会什么|支持(什么|哪些)|能问什么|怎么用你)")
REPLIES = {
"greeting": f"你好,我是站内助手。我只基于{SCOPE}回答,你想了解哪部分?",
"thanks": "不客气。还有站内内容想问,随时说。",
"bye": "再见,有问题随时回来。",
"identity": "我是这个站点的 AI 助手,用站内文章做检索增强回答,回答里的 [n] 对应下面的来源。",
"capability": f"我能回答{SCOPE}相关的问题。我不联网、不查天气,也不写与站点无关的通用代码。",
"empty": "请输入一个问题。",
}
def classify(query: str) -> tuple[str, str]:
text = query.strip()
if not text:
return "empty", REPLIES["empty"]
for kind, pattern in (
("greeting", GREETING),
("thanks", THANKS),
("bye", BYE),
("identity", IDENTITY),
("capability", CAPABILITY),
):
if pattern.search(text):
return kind, REPLIES[kind]
return "content", ""
三个细节:
- 问候用
^...$全匹配,防止「你好,顺便问下……」被误判;身份和能力用search,允许「你到底能帮我什么」这类变形。 SCOPE只写一遍,问候、能力、越界三处复用,避免文案漂移。- 能力文案主动说「不查天气、不写通用代码」,这是产品层面的预防:用户看到边界,就不会提这类问题。
第 1 层:分数门与范围说明
retrieve 之后按分数分级,empty 直接走:
OUT_OF_SCOPE_ANSWER = (
"我在站内没有找到能回答这个问题的资料。"
"我只基于本站的笔记和系列文章回答,不联网、不查天气,"
"也不处理与站点无关的请求。你可以换个问法再试。"
)
这条路径不调模型。 结论已经确定,再调一次只会给它编造的机会,还多花一次钱。
如果希望「找不到也有用」,可以再查一次 documents 的标题和标签(pg_trgm 或 ILIKE),返回三篇相关文章。这条兜底不依赖外部服务,失败率极低。
第 2 层:prompt 自检
在 system prompt 里加一句:
你只回答与本站笔记和系列文章相关的问题。
如果问题与站点内容无关(例如天气、新闻、通用编程求助),
直接说明你只能回答站内内容,不要勉强用资料作答。
约 40 个 token,覆盖「用词巧合拿到高分」的长尾情况。它不能省掉检索,但能让模型在边界上诚实。
我怎么试的
1. 规则分类的参数化测试
import pytest
from backend.agent.triage import classify
@pytest.mark.parametrize(("query", "kind"), [
("你好", "greeting"),
("您好!", "greeting"),
("hello", "greeting"),
("谢谢", "thanks"),
("你是谁", "identity"),
("你能做什么", "capability"),
("", "empty"),
# 下面这些必须仍然是内容问题
("你好,多阶段构建是什么?", "content"),
("今天天气怎么样", "content"),
("温度对模型推理有什么影响", "content"),
])
def test_classify(query: str, kind: str) -> None:
assert classify(query)[0] == kind
最后三条是最重要的:规则不能把「带问候的完整问题」和「含敏感词的内容问题」误判。
2. 断言问候既不检索也不调模型
仓库里的 FakeChatModel 和 FakeRetriever 都有调用计数器:
def test_greeting_skips_retrieval_and_model() -> None:
retriever = FakeRetriever(hits=[FakeHit(text="无关资料")])
model = FakeChatModel(chunks=["不应该出现"])
graph = make_rag_graph(retriever=retriever, chat_model=model)
state = _run(graph, {"query": "你好", "history": [], "top_k": 5})
assert state["answer"].startswith("你好")
assert retriever.calls == 0 # 没有 embedding
assert model.calls == 0 # 没有生成
这条断言比任何文案测试都值钱:它保证问候不花检索的钱,也不花生成的钱。
3. 端到端看事件序列
/api/chat 发「你好」,期望:
event: token {"text":"你好,我是站内助手……"}
event: done {"finishReason":"stop"}
没有 sources,也没有 phase 之外的额外事件。
坑和限制
- 正则一定会有误伤。 能力规则要保守;宁可让一个奇怪的问题进入检索,也不要把站内问题误判成寒暄。
- 提前返回会让预算泄漏。
limiter.check()预占 token,只有流式层的finally会settle()。如果在/api/chat里直接返回JSONResponse,预占额度永远不会释放。规则放在图里、复用同一条流式路径,可以避免这个问题;如果必须短路,就要手动结算。 - 问候也要限流。 它虽然不调模型,但仍是公开接口;把
limiter.check()放在最前面,只让它的 token 消耗接近 0。 - 第 1 层依赖阈值。 阈值没标定,分数门就是摆设;先完成上一篇的标定,再启用这一层。
- 第 2 层不是保险箱。 模型可能仍然用资料硬答;它只能降低概率,不能替代分数门。
适合谁
适合已经遇到「用户第一句话是问候」「站外问题也走完整 RAG」「拒答只有一句冷冰冰的话」的人。这套分层不需要改数据库,也不需要换模型,是投入产出比最高的一批改动。
下一篇处理另一个容易被忽略的细节:回答里的 [n] 到底该由谁编号,以及流式输出为什么让「事后修正」变成不可能。