跳到主要内容
Ed. notes

生成:LangGraph 与 SSE

长文 · 2026-11-11 · 合集第 9 / 11 篇

  • LangGraph
  • SSE
  • RAG
第 9 / 11 篇 · 查看全部章节 → 当前:生成:LangGraph 与 SSE

结论

流式问答不等于把模型 token 直接转发。这里先用 LangGraph 执行 retrieve → generate/refuse,再由 FastAPI 把检索结果和生成增量转换成有顺序的 SSE 事件。没有可用切片就走拒答,不调用模型。

问题与设计

普通请求要等模型完整回答,用户长时间看到空白;流式响应可以先给来源,再逐段显示文本。但如果把检索、提示词、模型调用和 SSE 编码都写在路由里,就很难单独测试“无资料时不调用模型”或“上游中断时不发完成事件”。

所以拆成两层:

  • 图负责业务控制流:检索、上下文选择、生成、拒答。
  • HTTP 层负责协议:请求校验、SSE 编码、超时、断开。

关键代码

图状态只包含必要字段:

class RagState(TypedDict, total=False):
    query: str
    history: list[dict[str, str]]
    top_k: int
    chunks: list[RetrievedChunk]
    answer: str

三个节点:

  • retrieve:在线程池里执行同步检索器,避免阻塞 async event loop;过滤低分切片,并限制同一篇文章最多取两段。
  • generate:组装 system prompt、历史消息、带编号的来源和问题,异步迭代 chat_model.astream()。
  • refuse:没有 chunks 时写入固定拒答,不访问模型。
START → retrieve ── 有结果 → generate → END
                   └─ 无结果 → refuse   → END

提示词中的来源格式必须和 sources 事件一致:

[1] 文章标题 — 一级标题 / 二级标题
切片正文

system prompt 要求只依据资料回答,并用 [n] 引用。前端拿到的 sources[n].n 与回答里的编号对应。

SSE 编码只做一件事:把事件名和 JSON 拼成空行分隔的文本。

def _sse(event: str, data: dict[str, object]) -> str:
    return f"event: {event}\ndata: {json.dumps(data, ensure_ascii=False)}\n\n"

_stream_answer() 同时消费 LangGraph 的 updates 和 messages:

  • retrieve 更新 → sources
  • generate 的 message chunk → token
  • 正常结束 → done
  • 超时或上游异常 → error,不再发 done
  • 客户端断开 → 停止继续消费图

响应头包含 Cache-Control: no-cache、Connection: keep-alive、X-Accel-Buffering: no,避免反向代理缓冲。

验证

用 fake retriever 和 fake chat model 通过真实 FastAPI TestClient:

event: sources
data: {"sources": [{"n": 1, "title": "演示文章", "url": "/notes/demo", "slug": "demo", "score": 0.9}]}

event: token
data: {"text": "根据"}

event: token
data: {"text": "[1]"}

event: done
data: {"finishReason": "stop"}

测试还覆盖:无检索结果时 sources → token → done,token 是固定拒答且模型调用次数为 0;上游失败时 sources → token → error,没有 done;超时返回 upstream_timeout;断开连接后停止消费图。

边界

  • sources 先于生成 token 到达;前端要能在回答完成前展示引用。
  • 事件流已经返回 HTTP 200 后,后续错误只能用 SSE error 表示,不能再改成 HTTP 500。
  • 客户端断开可以停止消费图,但上游模型是否立即终止取决于 SDK 的取消传播。
  • asyncio.timeout() 限制整个生成阶段;真实超时值要结合模型延迟、代理超时和前端体验调整。
  • /api/chat 会产生真实模型费用,当前没有鉴权、配额和限流。

下一篇看测试:哪些部分可以用 fake,哪些必须连真实 Postgres 或模型。