Files
zhuyongxin 7ae9707a3b feat(harness,rag): dual LLM audit fields, run conclusion, and hybrid quality
Persist provider reasoning and assistant text separately on agent_reasoning_audit
(DeepSeekAssistantMessage path), extract diagnosis_run.conclusion, enrich RAG
tool audit (step_id/query/qualityScore), gate empty mysql tools, drop devtools,
and align MVP docs after live E2E verification.
2026-07-28 19:43:13 +08:00

1.4 KiB
Raw Permalink Blame History

Acceptance: rag-quality-score-unify

Tasks

OpenSpec tasks.md 全部 [x](1.1–6.2)。

静态验证

  • 生产路径 grep:无 bm25_only_no_dense 发射、无 hybrid L2 enrichment(仅 Labels canonicalize 兼容旧串)。
  • 架构文档 §6 与 application.yml 注释已对齐 quality 契约。

脚本验证

mvn -Dtest=RetrievalScoreNormalizerTest,KnowledgeEvidencePostProcessorTest,LookupKnowledgeToolTest,VectorSearchServiceTest,VectorKnowledgeSearchAdapterHybridTest test
套件 结果
RetrievalScoreNormalizerTest 4 passed
KnowledgeEvidencePostProcessorTest 6 passed
LookupKnowledgeToolTest 7 passed
VectorSearchServiceTest 2 passed
VectorKnowledgeSearchAdapterHybridTest 1 passed

(PowerShell 可能将 JVM warning 标为 exit 1;日志中为 BUILD SUCCESS / Failures: 0。)

浏览器 / 人工验证

  • 未跑:live lookup_knowledge hybrid vs dense 对照、生产阈值标定。

未验证

项 风险 建议
真实 Milvus hybrid 联调 序/质量分布与单测 mock 有差 启动服务后固定 query 集切 mode 对比
阈值 0.75/0.5 在 hybrid rank 分下的标定 retry/PRECISE 偏多或偏少 看 trace topSimilarity 再调 yml

Specs 同步

  • 主规格新增:openspec/specs/rag-retrieval-quality-score/spec.md(archive 时从 delta 同步)。