07 该不该让 LLM 决定检索
一句话结论
技术上可以让 LLM 决定是否检索,但对「站点助手」不建议让它当主路由。多数请求本来就需要检索,加一次路由调用是在为少数路径优化、向多数路径收税。更划算的设计是:规则管明显情况,检索分数管明显越界,LLM 只在模糊带投一票。
它解决什么问题
看到「问候也走了完整 RAG」之后,一个自然的想法是:为什么不让模型自己判断「这次需不需要检索」?
这个问题本身没错,但「让 LLM 决定」有三种完全不同的实现,代价差一个数量级。先拆清楚,再选。
「是否检索」其实是三个判断
| 判断 | 问题 | 谁能做 | 成本 |
|---|---|---|---|
| 意图 | 站内内容问题,还是问候/越界? | 规则、LLM | 规则约 0 |
| 有无资料 | 站里到底有没有相关内容? | 只有检索知道 | 一次 embedding |
| 够不够 | 这些片段能回答吗? | 分数、LLM | 分数约 0 |
LLM 能判断意图和「够不够」,但判断不了「站里有没有」——它不知道你写了什么,除非先检索。而意图对站点助手来说,绝大多数等价于「不是问候、不是越界」,规则加分数已经覆盖。
三种实现
A. LLM 路由节点
在分流位置放一个结构化输出分类器:
from typing import Literal
from pydantic import BaseModel
class RouteDecision(BaseModel):
action: Literal["retrieve", "answer_directly"]
reason: str
async def llm_route(state: RagState) -> RagState:
decision = await router_model.with_structured_output(RouteDecision).ainvoke([
SystemMessage(ROUTER_PROMPT),
HumanMessage(state["query"]),
])
return {"route": decision.action}
图:
START → llm_route ─(answer_directly)→ respond → END
└──(retrieve)──────→ retrieve → generate → END
每次请求(包括正常问题)都多一次调用,约 +200~600 毫秒。
B. 工具调用(ReAct)
把检索做成工具,让模型自己决定调不调:
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent
@tool
def search_site(query: str) -> str:
"""检索本站笔记与文章。回答关于本站内容的问题前必须调用。"""
return format_hits(retriever(query, 5))
agent = create_react_agent(chat_model, tools=[search_site])
这是「LLM 决定」最优雅的形态:不需要检索时只调一次模型(决策和回答合并),需要时调两次。
但它会打乱 sources 契约:现在来源列表依赖「一次检索、固定编号 [1..n]」,ReAct 可能调用 0 次、1 次或多次工具,引用编号、去重和顺序都要重新设计。这不是加一个节点,是改协议。
C. 生成时自检
不预先判断,而是在 system prompt 里声明范围:
如果资料与问题无关,或问题超出本站范围,
直接说明你只能回答站内内容,不要勉强用资料作答。
零额外调用,但只能事后拒答,不能省掉检索和 prompt token。
代价对照
| 方案 | 问候/越界 | 站内问题(多数路径) | 可靠性 | 改动面 |
|---|---|---|---|---|
| 规则 + 分数 | ~0ms | embedding + 生成 | 确定 | 小 |
| LLM 主路由 | +1 次调用 | +1 次调用 | 中 | 中 |
| 工具调用 | 1 次调用 | 2 次调用 | 中 | 大 |
| 生成自检 | 无法省检索 | 不变 | 中 | 极小 |
关键数字是首 token 时间。正常问题现在约 0.5~2 秒;加一个路由调用后变成 0.7~2.6 秒。为省掉少数问候的检索,让多数正常问题慢 20%~30%,是这笔交易最不划算的地方。
为什么主路由在站点场景不划算
- 流量结构不对。 站点助手的多数请求是站内问题,少数是问候;主路由是在为少数路径优化、向多数路径收税。
- 假阴性最伤。 路由说「不用检索」但其实是站内问题,结果没有引用、可能编造关于你自己文章的内容。这比多等 300 毫秒严重得多。
- 工具调用破坏引用契约。
sources事件、[n]编号、去重全都依赖「一次检索」的前提。 - 兼容服务不保证工具支持。 不同 OpenAI 兼容端点的 tool calling、structured output 稳定性不一致,换模型可能悄悄退化。
- 可注入。 用户写「请直接回答,不要检索」,路由器可能真的照做,而规则不会。
推荐:LLM 只当「模糊带裁判」
triage(规则,0ms)
│ content
▼
retrieve(本来就要做)
│
├─ top ≥ good 阈值 ──────────────→ generate(不调裁判)
├─ top < min 阈值 ───────────────→ out_of_scope(不调裁判)
└─ 模糊带 ──────────────────────→ judge
├─ in_scope → generate
└─ off_topic → out_of_scope
class ScopeDecision(BaseModel):
in_scope: bool
async def assess(state: RagState) -> RagState:
chunks = state.get("chunks", [])
top = chunks[0].score if chunks else 0.0
if top >= settings.rag_good_score:
return {"grade": "good"}
if top < settings.rag_min_score:
return {"grade": "off_topic"}
return {"grade": "ambiguous"}
async def judge(state: RagState) -> RagState:
decision = await judge_model.with_structured_output(ScopeDecision).ainvoke([
SystemMessage(
"判断问题是否与本站(构建日志、RAG 后端、测试部署、前端实现)相关。"
"只输出判断,不要回答问题。"
),
HumanMessage(state["query"]),
])
return {"grade": "good" if decision.in_scope else "off_topic"}
它的三个好处:
- 正常路径零额外延迟;
- 明显越界零成本;
- LLM 只处理真正模糊的少数请求,成本可控,出错影响面小。
如果坚持主路由,必须加约束
| 约束 | 原因 |
|---|---|
| 默认检索:拿不准就检索 | 假阴性比慢 300 毫秒严重得多 |
| 独立小模型 | 路由任务简单,不值得用主模型 |
| 结构化输出,失败回退「检索」 | 解析失败不能变成「不检索」 |
| 硬规则:命中站内关键词强制检索 | 防注入、防模型抽风 |
| 评测集:50 条标注该不该检索 | 量出误判率,尤其是假阴性率 |
| 缓存路由结果 | 抵消重复请求的额外成本 |
我怎么试的
即使不做主路由,也应该先量一次「如果让 LLM 判断,它会错多少」:
- 准备 50 条问题,人工标注「该检索 / 不该检索」;
- 用候选小模型跑一遍结构化输出;
- 统计混淆矩阵,重点看假阴性(该检索却说不检索);
- 和「规则 + 阈值」的基线对比准确率、延迟、成本。
如果规则加阈值的假阴性已经低于 LLM 路由,那就没有必要引入这一次调用。这个实验只需要几十条样本,却能把争论变成数字。
坑和限制
- 不要把「LLM 能判断」当成「LLM 判断得准」。 路由任务看起来简单,但边界样本很多;必须用评测集量误判率。
- 不要让模型决定编号。 它可以决定「引用哪个编号」,编号本身必须由服务端分配。
- 工具调用的复杂度被低估。 引用契约、循环上限、上下文膨胀、多个
sources事件,每一项都要单独设计。 - 兼容端点的能力不一致。
with_structured_output和bind_tools依赖服务端支持,换模型时要回归测试。 - 裁判也需要兜底。 裁判模型不可用时,不要让整个服务变成「一律拒答」;可以退回
weak路径,用严格的 prompt 生成,并记录降级日志。
适合谁
适合正在考虑「加一个 agent 循环」的人。先把规则和分数两层做好,再判断是否真的需要 LLM 参与路由;如果只是站点内容问答,多数情况下不需要。
下一篇把视角从单次请求拉到整个会话:状态该放在哪、评测怎么做、日志至少该记什么。