测试:三档依赖,三种证据
结论
后端测试按依赖成本分层:单元测试不碰数据库和外部模型;集成测试连真实 pgvector;live 冒烟才请求真实模型。三层回答不同问题,不能互相替代。
问题与设计
如果单元测试也要求数据库和模型 Key,反馈会很慢;如果只测 mock,又可能漏掉 SQL 错误、pgvector 类型注册或事务行为。
项目用 pytest marker 分成三档:
uv run pytest -m "not integration and not live" # 单元
uv run pytest -m integration # 需要 Postgres
uv run pytest -m live # 需要真实模型
单元测试通过 FastAPI dependency override 替换外部边界,但仍然走真实的 Pydantic 校验、路由、SSE 编码和异常映射。
关键代码
测试替身集中在 tests/chat_fakes.py:
FakeChatModel:按固定片段流式输出,可在指定片段前抛异常。FakeHit:提供检索结果所需字段。FakeRetriever:按 top_k 返回 hits,并记录调用次数。
API 测试替换依赖:
app.dependency_overrides[get_settings] = lambda: settings
app.dependency_overrides[get_retriever] = lambda: retriever
app.dependency_overrides[get_chat_model] = lambda: model
前端视角:这相当于在模块边界 mock 掉 API client 或 composable,但路由、校验和 SSE 编码仍然走真实实现。
集成测试在模块级读取 TEST_DATABASE_URL,没有就 skip:
pytestmark = [
pytest.mark.integration,
pytest.mark.skipif(not DSN, reason="设置 TEST_DATABASE_URL 后运行集成测试"),
]
fixture 会删表重建,所以 DSN 必须指向独立测试库,不能指向开发或生产库。
验证
uv run ruff check .
uv run pytest -m "not integration and not live" -q
All checks passed!
58 passed, 13 deselected in 1.75s
集成测试单独运行:
TEST_DATABASE_URL=postgresql://ednotes:ednotes@127.0.0.1:5432/ednotes_test \
uv run pytest -m integration -q
集成测试覆盖 ingest 后搜索、health 计数、稳定 chunk id、删除内容、limit、空索引、维度/模型不匹配、embedding 失败保留旧索引等。它需要真实 Postgres,运行前要确认测试库和断言与当前入库文本格式一致。
边界
- 集成测试 fixture 会 DROP 表;数据库地址是安全边界,必须使用专用测试库。
- Fake embedding 只验证维度、数据流和 SQL,不验证语义检索质量。
- Fake chat 能验证事件顺序和错误路径,不代表真实上游的延迟、限流和返回格式都已覆盖。
- Live 测试消耗额度,默认不跑,也不应让 CI 在无预算控制时自动频繁执行。
- 测试数量会随代码变化;文章里的数字只代表本次运行。
下一篇看全栈联调:Nuxt 代理怎样转发 SSE,以及为什么当前不能公开部署。