01 诊断:一条链路,六个断点
一句话结论
大多数「AI 助手答得不好」的问题,不是模型不够强,而是检索和生成被当成了同一个人:检索只拿到当前这一句话,看不见聊天记录;生成拿到的上下文里又混着低相关片段。优化之前,先把一条请求拆成可观察的阶段,再判断问题出在哪一层。
它解决什么问题
一个能跑通的 RAG 后端,通常已经具备这些能力:内容入库、向量检索、sources → token → done 的 SSE 流、前端渲染来源。联调通过只证明链路通,不证明回答可信。
真正暴露出来的问题往往长这样:
- 第二句追问「那它有什么缺点」,检索不到上一轮的文章;
- 问一个站里没有的问题,回答却说「资料不足」,同时列出一堆无关来源;
- 打一句「你好」,要等一两秒,最后得到一句莫名其妙的回答;
- 历史越聊越长,首 token 越来越慢,偶尔还会把上一轮的引用编号带进新回答。
这些现象看起来分散,其实都能落到同一条链路的某一段。诊断的目标不是马上修,而是先给每个现象找到责任人。
一条请求的完整时间线
0ms 用户点发送
├─ 代理转发 ~1-5ms
├─ 参数校验 / 限流 ~1ms
├─ 索引就绪检查(1 次 DB 查询) ~2ms
├─ 历史清洗 / 裁剪 ~0.1ms
├─ 规则分流 命中则 ~50ms 内结束
├─ 追问改写(可选) +300~800ms
├─ query embedding(外部 API) +100~500ms ← 主要等待
├─ 向量检索(Postgres) +2~10ms
├─ 关键词检索 + 融合(后续) +10~30ms
├─ 分级 + 上下文选择 ~1ms
├─ LLM prefill + 首 token +300~1500ms ← 主要等待
└─ 流式输出 token…
这张图有两个用途:
- 定位延迟:首 token 慢,是慢在 embedding、检索,还是模型 prefill?
- 定位质量:检索用的 query 是哪来的?进入 prompt 的上下文是哪几条?谁决定了拒答?
六个断点
以本仓库的实现为例,一条 retrieve → generate 链路至少有六个可优化的断点:
| # | 现象 | 代码里的根因 | 影响 |
|---|---|---|---|
| 1 | 追问检索不到 | retrieve 只用当前的 query,历史只进生成 prompt |
指代词没有语义 |
| 2 | 旧引用污染新引用 | 历史原样拼进 messages,上一轮的 [1] 和这一轮混在一起 |
引用指向错文章 |
| 3 | 首 token 前没有反馈 | retrieve → generate 串行,没有阶段事件 |
用户以为卡住 |
| 4 | 拒答冷冰冰 | 只有一句固定文案,没有范围说明和推荐 | 失败也不提供价值 |
| 5 | 低相关片段照样进 prompt | RAG_MIN_SCORE 默认 0,等于不过滤 |
一条噪音也能让模型硬编 |
| 6 | 历史可能撑到上万 token | 只限条数(6 条 × 2000 字),不限 token 预算 | 慢、贵,且 prompt 膨胀 |
一个容易忽略的事实:拒答分支默认不可达
代码里确实写了「没检索到就拒答」:
relevant = [hit for hit in hits if hit.score >= min_score]
但 min_score 默认是 0,而向量检索只要表非空就必定返回 top-k。于是:
数据库非空 → hits 非空 → score >= 0 全部通过 → chunks 非空 → 永远走 generate
拒答不是没写,是被默认阈值关掉了。 这提醒我们:优化不总是「再加一条分支」,更多时候是「让已有分支在正确条件下生效」。
我怎么试的
1. 用两个查询看分数分布
不启动前端,直接打检索接口:
curl -s -X POST http://127.0.0.1:8000/api/search \
-H 'content-type: application/json' \
-d '{"query":"你好","limit":3}' | jq '.results[0].score'
curl -s -X POST http://127.0.0.1:8000/api/search \
-H 'content-type: application/json' \
-d '{"query":"多阶段构建解决了什么问题","limit":3}' | jq '.results[0].score'
本仓库在「如何优化」系列的实测记录里,使用 Qwen3-Embedding-0.6B 和当时的 18 篇内容,得到过这样一组分布:
query: 你好 最高分 0.3790
query: 今天天气怎么样? 最高分 0.2830
query: 多阶段构建解决了什么问题? 最高分 0.6014
这组数字说明:站外问题和站内问题在分数上是可分的,只是默认阈值没有利用这个信号。它不是通用结论——换模型或换内容分布后必须重新测。
2. 走一遍「你好」的调用链
校验通过 → 限流
→ embed("你好") 一次外部调用
→ 检索 top 5 只要表非空就必定返回
→ min_score=0 全部保留
→ generate:系统提示 + 5 段无关资料 + "你好"
→ 模型要么说「资料不足」,要么硬扯
一次问候花掉 1~2 秒、一次 embedding、一次生成。而它本来可以用一条规则在 50 毫秒内结束。
坑和限制
- 不要在没有评测集时改检索参数。 单次分数好看,不代表整体召回变好;先固定一组问题,再改一个变量。
- 不要把「链路通」当成「回答可信」。 SSE 事件顺序正确,和引用是否指向正确文章是两件事。
- 不要只盯生成层。 模型能不能答对,很大程度上在它看到 prompt 之前就决定了;上下文被污染时,换提示词只是让错误更隐蔽。
- 默认值要当成产品决策。
min_score = 0不是一个中性默认,它等于「所有检索结果都算相关」。 - 延迟要分段测。 只看总时长,无法判断该优化 embedding、数据库还是模型。
适合谁
适合已经跑通 RAG 问答、开始觉得「能答但不够好用」的人。你不需要先换更大的模型,也不需要重写整个图;先按这张时间线和六个断点做一次走查,通常能找到一个投入很小、体感很明显的改动。
下一篇从断点 1 开始:为什么多轮追问一定会让向量检索失效,以及怎样在不增加太多延迟的前提下把它救回来。