跳到主要内容
Ed. notes

07 该不该让 LLM 决定检索

长文 · 2026-11-17 · 合集第 8 / 10 篇

  • Agent
  • RAG
  • LLM路由
第 8 / 10 篇 · 查看全部章节 → 当前:07 该不该让 LLM 决定检索

一句话结论

技术上可以让 LLM 决定是否检索,但对「站点助手」不建议让它当主路由。多数请求本来就需要检索,加一次路由调用是在为少数路径优化、向多数路径收税。更划算的设计是:规则管明显情况,检索分数管明显越界,LLM 只在模糊带投一票。

它解决什么问题

看到「问候也走了完整 RAG」之后,一个自然的想法是:为什么不让模型自己判断「这次需不需要检索」?

这个问题本身没错,但「让 LLM 决定」有三种完全不同的实现,代价差一个数量级。先拆清楚,再选。

「是否检索」其实是三个判断

判断 问题 谁能做 成本
意图 站内内容问题,还是问候/越界? 规则、LLM 规则约 0
有无资料 站里到底有没有相关内容? 只有检索知道 一次 embedding
够不够 这些片段能回答吗? 分数、LLM 分数约 0

LLM 能判断意图和「够不够」,但判断不了「站里有没有」——它不知道你写了什么,除非先检索。而意图对站点助手来说,绝大多数等价于「不是问候、不是越界」,规则加分数已经覆盖。

三种实现

A. LLM 路由节点

在分流位置放一个结构化输出分类器:

from typing import Literal
from pydantic import BaseModel


class RouteDecision(BaseModel):
    action: Literal["retrieve", "answer_directly"]
    reason: str


async def llm_route(state: RagState) -> RagState:
    decision = await router_model.with_structured_output(RouteDecision).ainvoke([
        SystemMessage(ROUTER_PROMPT),
        HumanMessage(state["query"]),
    ])
    return {"route": decision.action}

图:

START → llm_route ─(answer_directly)→ respond → END
              └──(retrieve)──────→ retrieve → generate → END

每次请求(包括正常问题)都多一次调用,约 +200~600 毫秒。

B. 工具调用(ReAct)

把检索做成工具,让模型自己决定调不调:

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent


@tool
def search_site(query: str) -> str:
    """检索本站笔记与文章。回答关于本站内容的问题前必须调用。"""
    return format_hits(retriever(query, 5))


agent = create_react_agent(chat_model, tools=[search_site])

这是「LLM 决定」最优雅的形态:不需要检索时只调一次模型(决策和回答合并),需要时调两次。

但它会打乱 sources 契约:现在来源列表依赖「一次检索、固定编号 [1..n]」,ReAct 可能调用 0 次、1 次或多次工具,引用编号、去重和顺序都要重新设计。这不是加一个节点,是改协议。

C. 生成时自检

不预先判断,而是在 system prompt 里声明范围:

如果资料与问题无关,或问题超出本站范围,
直接说明你只能回答站内内容,不要勉强用资料作答。

零额外调用,但只能事后拒答,不能省掉检索和 prompt token。

代价对照

方案 问候/越界 站内问题(多数路径) 可靠性 改动面
规则 + 分数 ~0ms embedding + 生成 确定 小
LLM 主路由 +1 次调用 +1 次调用 中 中
工具调用 1 次调用 2 次调用 中 大
生成自检 无法省检索 不变 中 极小

关键数字是首 token 时间。正常问题现在约 0.5~2 秒;加一个路由调用后变成 0.7~2.6 秒。为省掉少数问候的检索,让多数正常问题慢 20%~30%,是这笔交易最不划算的地方。

为什么主路由在站点场景不划算

  1. 流量结构不对。 站点助手的多数请求是站内问题,少数是问候;主路由是在为少数路径优化、向多数路径收税。
  2. 假阴性最伤。 路由说「不用检索」但其实是站内问题,结果没有引用、可能编造关于你自己文章的内容。这比多等 300 毫秒严重得多。
  3. 工具调用破坏引用契约。 sources 事件、[n] 编号、去重全都依赖「一次检索」的前提。
  4. 兼容服务不保证工具支持。 不同 OpenAI 兼容端点的 tool calling、structured output 稳定性不一致,换模型可能悄悄退化。
  5. 可注入。 用户写「请直接回答,不要检索」,路由器可能真的照做,而规则不会。

推荐:LLM 只当「模糊带裁判」

triage(规则,0ms)
   │ content
   ▼
retrieve(本来就要做)
   │
   ├─ top ≥ good 阈值 ──────────────→ generate(不调裁判)
   ├─ top < min 阈值 ───────────────→ out_of_scope(不调裁判)
   └─ 模糊带 ──────────────────────→ judge
                                        ├─ in_scope  → generate
                                        └─ off_topic → out_of_scope
class ScopeDecision(BaseModel):
    in_scope: bool


async def assess(state: RagState) -> RagState:
    chunks = state.get("chunks", [])
    top = chunks[0].score if chunks else 0.0

    if top >= settings.rag_good_score:
        return {"grade": "good"}
    if top < settings.rag_min_score:
        return {"grade": "off_topic"}
    return {"grade": "ambiguous"}


async def judge(state: RagState) -> RagState:
    decision = await judge_model.with_structured_output(ScopeDecision).ainvoke([
        SystemMessage(
            "判断问题是否与本站(构建日志、RAG 后端、测试部署、前端实现)相关。"
            "只输出判断,不要回答问题。"
        ),
        HumanMessage(state["query"]),
    ])
    return {"grade": "good" if decision.in_scope else "off_topic"}

它的三个好处:

  • 正常路径零额外延迟;
  • 明显越界零成本;
  • LLM 只处理真正模糊的少数请求,成本可控,出错影响面小。

如果坚持主路由,必须加约束

约束 原因
默认检索:拿不准就检索 假阴性比慢 300 毫秒严重得多
独立小模型 路由任务简单,不值得用主模型
结构化输出,失败回退「检索」 解析失败不能变成「不检索」
硬规则:命中站内关键词强制检索 防注入、防模型抽风
评测集:50 条标注该不该检索 量出误判率,尤其是假阴性率
缓存路由结果 抵消重复请求的额外成本

我怎么试的

即使不做主路由,也应该先量一次「如果让 LLM 判断,它会错多少」:

  1. 准备 50 条问题,人工标注「该检索 / 不该检索」;
  2. 用候选小模型跑一遍结构化输出;
  3. 统计混淆矩阵,重点看假阴性(该检索却说不检索);
  4. 和「规则 + 阈值」的基线对比准确率、延迟、成本。

如果规则加阈值的假阴性已经低于 LLM 路由,那就没有必要引入这一次调用。这个实验只需要几十条样本,却能把争论变成数字。

坑和限制

  • 不要把「LLM 能判断」当成「LLM 判断得准」。 路由任务看起来简单,但边界样本很多;必须用评测集量误判率。
  • 不要让模型决定编号。 它可以决定「引用哪个编号」,编号本身必须由服务端分配。
  • 工具调用的复杂度被低估。 引用契约、循环上限、上下文膨胀、多个 sources 事件,每一项都要单独设计。
  • 兼容端点的能力不一致。 with_structured_output 和 bind_tools 依赖服务端支持,换模型时要回归测试。
  • 裁判也需要兜底。 裁判模型不可用时,不要让整个服务变成「一律拒答」;可以退回 weak 路径,用严格的 prompt 生成,并记录降级日志。

适合谁

适合正在考虑「加一个 agent 循环」的人。先把规则和分数两层做好,再判断是否真的需要 LLM 参与路由;如果只是站点内容问答,多数情况下不需要。

下一篇把视角从单次请求拉到整个会话:状态该放在哪、评测怎么做、日志至少该记什么。