跳到主要内容
Ed. notes

04 失败行为:把「不知道」设计好

长文 · 2026-11-17 · 合集第 5 / 10 篇

  • RAG
  • 对话体验
  • 降级设计
第 5 / 10 篇 · 查看全部章节 → 当前:04 失败行为:把「不知道」设计好

一句话结论

「不相关」不是一种问题,而是三种:社交性输入、能力外请求、站内内容空洞。用规则处理封闭集合,用检索分数处理发散请求,用 prompt 自检兜住长尾;失败路径尽量不依赖模型,才能既快又稳。

它解决什么问题

默认实现里,所有输入都走同一条 retrieve → generate:

"你好"           → 检索 → 生成 → 花 1~2 秒得到一句怪话
"今天天气怎么样"  → 检索 → 生成 → 拿部署文章硬答
"站内没有的问题"  → 检索 → 生成 → 硬编或机械拒答

问候、天气、内容空洞,在代码里没有任何区别。这不是模型的问题,是入口没有分流。

先把「不相关」拆开

类型 例子 特征 处理者
社交性输入 你好、谢谢、再见、你是谁 封闭集合、模式稳定 规则
能力外请求 天气、写诗、翻译 模式发散、无法穷举 检索分数 + prompt
站内内容空洞 站里没写过的问题 只能检索后知道 分数分级 + 兜底

不要用关键词表穷举第二类。 天气、气温、下雨、新闻、股价、翻译、写代码、算数学……列不完;而且「温度对模型推理有什么影响」会被误伤。

规则只管封闭的第一类,第二类交给检索分数——那是你本来就要付的 embedding 成本。

三层漏斗

query
  │
  ├─ 第 0 层:规则(~0ms,0 成本)
  │    问候 / 感谢 / 身份 / 能力 / 空 → respond → END
  │
  ├─ 第 1 层:检索分数(本来就要付的 embedding)
  │    top < 阈值 → out_of_scope → END(不调生成模型)
  │
  └─ 第 2 层:生成时自检(零额外调用)
       prompt 声明范围,长尾问题由模型自己踩刹车

每层比上一层贵,只有上一层没解决才进入下一层。

第 0 层:规则分流

SCOPE = "本站的构建日志、RAG 后端、测试与部署、前端实现"

GREETING = re.compile(
    r"^\s*(你好|您好|hi|hello|hey|嗨|哈喽|在吗|在不在|早上好|下午好|晚上好)"
    r"[\s!!。,.,~~??]*$",
    re.IGNORECASE,
)
THANKS = re.compile(r"^\s*(谢谢|谢了|感谢|thanks|thank you|thx)[\s!!。,.,~~]*$", re.IGNORECASE)
BYE = re.compile(r"^\s*(再见|拜拜|bye|goodbye)[\s!!。,.,~~]*$", re.IGNORECASE)
IDENTITY = re.compile(r"(你是(谁|什么)|介绍一下你(自己)?|你叫什么)")
CAPABILITY = re.compile(r"(你能(做|回答|帮|干)什么|你会什么|支持(什么|哪些)|能问什么|怎么用你)")

REPLIES = {
    "greeting": f"你好,我是站内助手。我只基于{SCOPE}回答,你想了解哪部分?",
    "thanks": "不客气。还有站内内容想问,随时说。",
    "bye": "再见,有问题随时回来。",
    "identity": "我是这个站点的 AI 助手,用站内文章做检索增强回答,回答里的 [n] 对应下面的来源。",
    "capability": f"我能回答{SCOPE}相关的问题。我不联网、不查天气,也不写与站点无关的通用代码。",
    "empty": "请输入一个问题。",
}


def classify(query: str) -> tuple[str, str]:
    text = query.strip()
    if not text:
        return "empty", REPLIES["empty"]

    for kind, pattern in (
        ("greeting", GREETING),
        ("thanks", THANKS),
        ("bye", BYE),
        ("identity", IDENTITY),
        ("capability", CAPABILITY),
    ):
        if pattern.search(text):
            return kind, REPLIES[kind]

    return "content", ""

三个细节:

  1. 问候用 ^...$ 全匹配,防止「你好,顺便问下……」被误判;身份和能力用 search,允许「你到底能帮我什么」这类变形。
  2. SCOPE 只写一遍,问候、能力、越界三处复用,避免文案漂移。
  3. 能力文案主动说「不查天气、不写通用代码」,这是产品层面的预防:用户看到边界,就不会提这类问题。

第 1 层:分数门与范围说明

retrieve 之后按分数分级,empty 直接走:

OUT_OF_SCOPE_ANSWER = (
    "我在站内没有找到能回答这个问题的资料。"
    "我只基于本站的笔记和系列文章回答,不联网、不查天气,"
    "也不处理与站点无关的请求。你可以换个问法再试。"
)

这条路径不调模型。 结论已经确定,再调一次只会给它编造的机会,还多花一次钱。

如果希望「找不到也有用」,可以再查一次 documents 的标题和标签(pg_trgm 或 ILIKE),返回三篇相关文章。这条兜底不依赖外部服务,失败率极低。

第 2 层:prompt 自检

在 system prompt 里加一句:

你只回答与本站笔记和系列文章相关的问题。
如果问题与站点内容无关(例如天气、新闻、通用编程求助),
直接说明你只能回答站内内容,不要勉强用资料作答。

约 40 个 token,覆盖「用词巧合拿到高分」的长尾情况。它不能省掉检索,但能让模型在边界上诚实。

我怎么试的

1. 规则分类的参数化测试

import pytest
from backend.agent.triage import classify


@pytest.mark.parametrize(("query", "kind"), [
    ("你好", "greeting"),
    ("您好!", "greeting"),
    ("hello", "greeting"),
    ("谢谢", "thanks"),
    ("你是谁", "identity"),
    ("你能做什么", "capability"),
    ("", "empty"),
    # 下面这些必须仍然是内容问题
    ("你好,多阶段构建是什么?", "content"),
    ("今天天气怎么样", "content"),
    ("温度对模型推理有什么影响", "content"),
])
def test_classify(query: str, kind: str) -> None:
    assert classify(query)[0] == kind

最后三条是最重要的:规则不能把「带问候的完整问题」和「含敏感词的内容问题」误判。

2. 断言问候既不检索也不调模型

仓库里的 FakeChatModel 和 FakeRetriever 都有调用计数器:

def test_greeting_skips_retrieval_and_model() -> None:
    retriever = FakeRetriever(hits=[FakeHit(text="无关资料")])
    model = FakeChatModel(chunks=["不应该出现"])
    graph = make_rag_graph(retriever=retriever, chat_model=model)

    state = _run(graph, {"query": "你好", "history": [], "top_k": 5})

    assert state["answer"].startswith("你好")
    assert retriever.calls == 0      # 没有 embedding
    assert model.calls == 0          # 没有生成

这条断言比任何文案测试都值钱:它保证问候不花检索的钱,也不花生成的钱。

3. 端到端看事件序列

/api/chat 发「你好」,期望:

event: token   {"text":"你好,我是站内助手……"}
event: done    {"finishReason":"stop"}

没有 sources,也没有 phase 之外的额外事件。

坑和限制

  • 正则一定会有误伤。 能力规则要保守;宁可让一个奇怪的问题进入检索,也不要把站内问题误判成寒暄。
  • 提前返回会让预算泄漏。 limiter.check() 预占 token,只有流式层的 finally 会 settle()。如果在 /api/chat 里直接返回 JSONResponse,预占额度永远不会释放。规则放在图里、复用同一条流式路径,可以避免这个问题;如果必须短路,就要手动结算。
  • 问候也要限流。 它虽然不调模型,但仍是公开接口;把 limiter.check() 放在最前面,只让它的 token 消耗接近 0。
  • 第 1 层依赖阈值。 阈值没标定,分数门就是摆设;先完成上一篇的标定,再启用这一层。
  • 第 2 层不是保险箱。 模型可能仍然用资料硬答;它只能降低概率,不能替代分数门。

适合谁

适合已经遇到「用户第一句话是问候」「站外问题也走完整 RAG」「拒答只有一句冷冰冰的话」的人。这套分层不需要改数据库,也不需要换模型,是投入产出比最高的一批改动。

下一篇处理另一个容易被忽略的细节:回答里的 [n] 到底该由谁编号,以及流式输出为什么让「事后修正」变成不可能。