生成:LangGraph 与 SSE
结论
流式问答不等于把模型 token 直接转发。这里先用 LangGraph 执行 retrieve → generate/refuse,再由 FastAPI 把检索结果和生成增量转换成有顺序的 SSE 事件。没有可用切片就走拒答,不调用模型。
问题与设计
普通请求要等模型完整回答,用户长时间看到空白;流式响应可以先给来源,再逐段显示文本。但如果把检索、提示词、模型调用和 SSE 编码都写在路由里,就很难单独测试“无资料时不调用模型”或“上游中断时不发完成事件”。
所以拆成两层:
- 图负责业务控制流:检索、上下文选择、生成、拒答。
- HTTP 层负责协议:请求校验、SSE 编码、超时、断开。
关键代码
图状态只包含必要字段:
class RagState(TypedDict, total=False):
query: str
history: list[dict[str, str]]
top_k: int
chunks: list[RetrievedChunk]
answer: str
三个节点:
retrieve:在线程池里执行同步检索器,避免阻塞 async event loop;过滤低分切片,并限制同一篇文章最多取两段。generate:组装 system prompt、历史消息、带编号的来源和问题,异步迭代chat_model.astream()。refuse:没有 chunks 时写入固定拒答,不访问模型。
START → retrieve ── 有结果 → generate → END
└─ 无结果 → refuse → END
提示词中的来源格式必须和 sources 事件一致:
[1] 文章标题 — 一级标题 / 二级标题
切片正文
system prompt 要求只依据资料回答,并用 [n] 引用。前端拿到的 sources[n].n 与回答里的编号对应。
SSE 编码只做一件事:把事件名和 JSON 拼成空行分隔的文本。
def _sse(event: str, data: dict[str, object]) -> str:
return f"event: {event}\ndata: {json.dumps(data, ensure_ascii=False)}\n\n"
_stream_answer() 同时消费 LangGraph 的 updates 和 messages:
retrieve更新 →sourcesgenerate的 message chunk →token- 正常结束 →
done - 超时或上游异常 →
error,不再发done - 客户端断开 → 停止继续消费图
响应头包含 Cache-Control: no-cache、Connection: keep-alive、X-Accel-Buffering: no,避免反向代理缓冲。
验证
用 fake retriever 和 fake chat model 通过真实 FastAPI TestClient:
event: sources
data: {"sources": [{"n": 1, "title": "演示文章", "url": "/notes/demo", "slug": "demo", "score": 0.9}]}
event: token
data: {"text": "根据"}
event: token
data: {"text": "[1]"}
event: done
data: {"finishReason": "stop"}
测试还覆盖:无检索结果时 sources → token → done,token 是固定拒答且模型调用次数为 0;上游失败时 sources → token → error,没有 done;超时返回 upstream_timeout;断开连接后停止消费图。
边界
sources先于生成 token 到达;前端要能在回答完成前展示引用。- 事件流已经返回 HTTP 200 后,后续错误只能用 SSE
error表示,不能再改成 HTTP 500。 - 客户端断开可以停止消费图,但上游模型是否立即终止取决于 SDK 的取消传播。
asyncio.timeout()限制整个生成阶段;真实超时值要结合模型延迟、代理超时和前端体验调整。/api/chat会产生真实模型费用,当前没有鉴权、配额和限流。
下一篇看测试:哪些部分可以用 fake,哪些必须连真实 Postgres 或模型。