跳到主要内容
Ed. notes

01 诊断:一条链路,六个断点

长文 · 2026-11-17 · 合集第 2 / 10 篇

  • RAG
  • 对话体验
  • 诊断
第 2 / 10 篇 · 查看全部章节 → 当前:01 诊断:一条链路,六个断点

一句话结论

大多数「AI 助手答得不好」的问题,不是模型不够强,而是检索和生成被当成了同一个人:检索只拿到当前这一句话,看不见聊天记录;生成拿到的上下文里又混着低相关片段。优化之前,先把一条请求拆成可观察的阶段,再判断问题出在哪一层。

它解决什么问题

一个能跑通的 RAG 后端,通常已经具备这些能力:内容入库、向量检索、sources → token → done 的 SSE 流、前端渲染来源。联调通过只证明链路通,不证明回答可信。

真正暴露出来的问题往往长这样:

  • 第二句追问「那它有什么缺点」,检索不到上一轮的文章;
  • 问一个站里没有的问题,回答却说「资料不足」,同时列出一堆无关来源;
  • 打一句「你好」,要等一两秒,最后得到一句莫名其妙的回答;
  • 历史越聊越长,首 token 越来越慢,偶尔还会把上一轮的引用编号带进新回答。

这些现象看起来分散,其实都能落到同一条链路的某一段。诊断的目标不是马上修,而是先给每个现象找到责任人。

一条请求的完整时间线

0ms     用户点发送
        ├─ 代理转发                          ~1-5ms
        ├─ 参数校验 / 限流                    ~1ms
        ├─ 索引就绪检查(1 次 DB 查询)        ~2ms
        ├─ 历史清洗 / 裁剪                    ~0.1ms
        ├─ 规则分流                           命中则 ~50ms 内结束
        ├─ 追问改写(可选)                   +300~800ms
        ├─ query embedding(外部 API)        +100~500ms   ← 主要等待
        ├─ 向量检索(Postgres)               +2~10ms
        ├─ 关键词检索 + 融合(后续)          +10~30ms
        ├─ 分级 + 上下文选择                  ~1ms
        ├─ LLM prefill + 首 token             +300~1500ms  ← 主要等待
        └─ 流式输出 token…

这张图有两个用途:

  1. 定位延迟:首 token 慢,是慢在 embedding、检索,还是模型 prefill?
  2. 定位质量:检索用的 query 是哪来的?进入 prompt 的上下文是哪几条?谁决定了拒答?

六个断点

以本仓库的实现为例,一条 retrieve → generate 链路至少有六个可优化的断点:

# 现象 代码里的根因 影响
1 追问检索不到 retrieve 只用当前的 query,历史只进生成 prompt 指代词没有语义
2 旧引用污染新引用 历史原样拼进 messages,上一轮的 [1] 和这一轮混在一起 引用指向错文章
3 首 token 前没有反馈 retrieve → generate 串行,没有阶段事件 用户以为卡住
4 拒答冷冰冰 只有一句固定文案,没有范围说明和推荐 失败也不提供价值
5 低相关片段照样进 prompt RAG_MIN_SCORE 默认 0,等于不过滤 一条噪音也能让模型硬编
6 历史可能撑到上万 token 只限条数(6 条 × 2000 字),不限 token 预算 慢、贵,且 prompt 膨胀

一个容易忽略的事实:拒答分支默认不可达

代码里确实写了「没检索到就拒答」:

relevant = [hit for hit in hits if hit.score >= min_score]

但 min_score 默认是 0,而向量检索只要表非空就必定返回 top-k。于是:

数据库非空 → hits 非空 → score >= 0 全部通过 → chunks 非空 → 永远走 generate

拒答不是没写,是被默认阈值关掉了。 这提醒我们:优化不总是「再加一条分支」,更多时候是「让已有分支在正确条件下生效」。

我怎么试的

1. 用两个查询看分数分布

不启动前端,直接打检索接口:

curl -s -X POST http://127.0.0.1:8000/api/search \
  -H 'content-type: application/json' \
  -d '{"query":"你好","limit":3}' | jq '.results[0].score'

curl -s -X POST http://127.0.0.1:8000/api/search \
  -H 'content-type: application/json' \
  -d '{"query":"多阶段构建解决了什么问题","limit":3}' | jq '.results[0].score'

本仓库在「如何优化」系列的实测记录里,使用 Qwen3-Embedding-0.6B 和当时的 18 篇内容,得到过这样一组分布:

query: 你好                 最高分 0.3790
query: 今天天气怎么样?      最高分 0.2830
query: 多阶段构建解决了什么问题?  最高分 0.6014

这组数字说明:站外问题和站内问题在分数上是可分的,只是默认阈值没有利用这个信号。它不是通用结论——换模型或换内容分布后必须重新测。

2. 走一遍「你好」的调用链

校验通过 → 限流
→ embed("你好")               一次外部调用
→ 检索 top 5                  只要表非空就必定返回
→ min_score=0 全部保留
→ generate:系统提示 + 5 段无关资料 + "你好"
→ 模型要么说「资料不足」,要么硬扯

一次问候花掉 1~2 秒、一次 embedding、一次生成。而它本来可以用一条规则在 50 毫秒内结束。

坑和限制

  • 不要在没有评测集时改检索参数。 单次分数好看,不代表整体召回变好;先固定一组问题,再改一个变量。
  • 不要把「链路通」当成「回答可信」。 SSE 事件顺序正确,和引用是否指向正确文章是两件事。
  • 不要只盯生成层。 模型能不能答对,很大程度上在它看到 prompt 之前就决定了;上下文被污染时,换提示词只是让错误更隐蔽。
  • 默认值要当成产品决策。 min_score = 0 不是一个中性默认,它等于「所有检索结果都算相关」。
  • 延迟要分段测。 只看总时长,无法判断该优化 embedding、数据库还是模型。

适合谁

适合已经跑通 RAG 问答、开始觉得「能答但不够好用」的人。你不需要先换更大的模型,也不需要重写整个图;先按这张时间线和六个断点做一次走查,通常能找到一个投入很小、体感很明显的改动。

下一篇从断点 1 开始:为什么多轮追问一定会让向量检索失效,以及怎样在不增加太多延迟的前提下把它救回来。