02 查询质量:让检索员听懂追问
一句话结论
多轮追问检索失败,不是向量模型不行,而是检索员看不到聊天记录。方案按成本排序:先拼接上一轮问题(零额外模型调用),评测不够再上 LLM 改写;两者都必须保留原 query 作为兜底。
它解决什么问题
第一轮问「多阶段构建解决了什么问题」,检索正常。第二轮问:
那它有什么缺点?
送进 embedding 的只有这七个字。模型不知道「它」指什么,于是这句话被映射到「泛泛的提问」区域,和那篇讲 Docker 的文章离得很远。
问题出在调用链上:
async def retrieve(state):
hits = await anyio.to_thread.run_sync(
lambda: list(retriever(state.get("query", ""), top_k))
)
检索只读 query,历史只进后面的 generate prompt。历史对生成有用,对检索完全没用。
可以用一个简单的类比自检:把检索和生成想成两个不同的人。检索员只看得到这一句话,看不见聊天记录;你不把上下文递给他,他就只能猜。
为什么 embedding 救不了指代
Embedding 把文本映射成一个固定长度的向量,语义相近则方向接近:
"多阶段构建有什么缺点" → [0.12, -0.83, 0.44, ...]
"Docker 多阶段构建缺点" → [0.15, -0.79, 0.41, ...] ← 方向接近
"那它有什么缺点" → [0.03, 0.11, 0.91, ...] ← 没有实体,方向偏了
关键点是:embedding 每次只看当前字符串,不带任何会话状态。 指代词本身没有语义,向量自然没有方向。
方案 A:拼接(先试这个)
def build_search_query(query: str, history: list[dict]) -> str:
if not history:
return query
last_user = next(
(m["content"] for m in reversed(history) if m["role"] == "user"),
"",
)
return f"{last_user[:200]}\n{query}" if last_user else query
把上一轮用户问题截断后拼进来,向量里就带上了实体词。
- 优点:没有额外 LLM 往返,只是 embedding 的输入变长。
- 缺点:上一轮主题偏移时会稀释当前意图。只取一轮、只取 200 字。
- 适用:绝大多数站点助手。先用它跑一周评测,再决定是否升级。
方案 B:LLM 改写
让一个小模型把追问改写成独立完整的问题:
REWRITE_PROMPT = """把用户的追问改写成一个可以独立检索的问题。
规则:
1. 只输出改写后的问题,不要解释。
2. 保留专有名词、数字、英文术语。
3. 如果问题本身已经完整,原样输出。"""
async def rewrite(state: RagState) -> RagState:
query = state["query"]
history = state.get("history", [])
if not history or not _needs_rewrite(query):
return {"search_query": query}
transcript = "\n".join(
f"{m['role']}: {_strip_citations(m['content'])}"
for m in history[-4:]
)
result = await chat_model.bind(max_tokens=64).ainvoke([
SystemMessage(REWRITE_PROMPT),
HumanMessage(f"对话:\n{transcript}\n\n追问:{query}"),
])
rewritten = chunk_text(result).strip()
return {"search_query": rewritten or query}
效果:
输入:那它有什么缺点?
输出:Docker 多阶段构建有什么缺点?
四个必须:
-
保守触发。只在有历史且问题很短、或含指代词时才改写:
PRONOUNS = ("它", "他", "她", "这个", "那个", "这", "那", "为什么", "然后", "还有") def _needs_rewrite(q: str) -> bool: return len(q) <= 12 or any(p in q for p in PRONOUNS) -
剥掉历史里的引用编号。上一轮的
[1]和这一轮的[1]指向不同文章,不剥会污染改写和生成。_CITATION = re.compile(r"\[\d+\]") def _strip_citations(text: str) -> str: return _CITATION.sub("", text).strip() -
失败必须兜底。超时、空返回、返回一段解释 → 一律用原 query 继续。改写是锦上添花,不能成为新的故障点。
-
两个 query 分开存。
search_query给检索,query给生成和日志。出问题时能一眼看出是改写跑偏还是检索不行。
方案 C:HyDE 与多查询
- HyDE:让模型先编一个假答案,拿假答案去检索。答案和文档用词更像,召回有时更好;但假答案编错会把检索带偏。
- Multi-query:生成三个同义问法分别检索再融合,召回更高,延迟和成本乘以三。
语料只有十几篇时,A 或 B 足够。C 属于「语料上千篇、召回卡在瓶颈」时的工具,不要在第一步就引入。
我怎么试的
准备一组固定的多轮问题,只跑检索,不跑生成:
def evaluate(questions, retriever, k=5):
hits, rr = 0, 0.0
for q in questions:
slugs = [r.slug for r in retriever(q["question"], k)]
expected = set(q["expected"])
if not expected:
hits += not slugs
continue
found = [i for i, s in enumerate(slugs, 1) if s in expected]
if found:
hits += 1
rr += 1 / found[0]
return {"recall": hits / len(questions), "mrr": rr / len(questions)}
评测集里至少放 10 条这样的样本:
- question: 那它有什么缺点?
history:
- role: user
content: 多阶段构建解决了什么问题?
- role: assistant
content: 多阶段构建把依赖安装、构建和运行拆成三层……
expected: [build-practice-05-deployment-docker]
分别测三种状态:不改写、拼接、LLM 改写。只看多轮追问这一组的 recall@5,不要拿整体平均掩盖变化。
坑和限制
- 改写会跑偏。 模型可能把「它」解析错,或者把完整问题改得更窄。必须记录改写前后两个 query,并保留原 query 作为 fallback。
- 改写有延迟。 一次小模型调用通常多 300~800 毫秒,直接加在首 token 之前。只在有历史时触发,能把这笔钱花在少数请求上。
- 历史本身不可信。 现在历史由客户端传入,用户可以伪造「系统口吻」的内容。改写 prompt 要把历史当数据,不要当指令;长期要等服务端会话。
- 不要把改写和检索预算分开看。 改写后的 query 变长,embedding 成本略增;但相比重新检索一次,仍然便宜。
- 评测集不要照抄标题。 用用户口吻写问题,否则改写带来的收益会被虚高的基线掩盖。
适合谁
适合已经支持多轮对话、但发现「第二句开始就答偏」的人。如果你的助手主要被单轮使用,先跳过这一篇,把预算花在下一篇的阈值和上下文选择上。
下一篇处理检索回来的东西:相似度分数到底怎么读,什么时候该信、什么时候该拒,以及词法检索和向量检索怎样互补。