feat: add freshrss openclaw pipeline and clean repo

2026-03-26 16:48:19 +08:00
parent 27fe1e8882
commit 100044e1f7
143 changed files with 1776 additions and 7293 deletions
@@ -1,38 +1,69 @@
 # Outputs Layout

-`outputs/` 按“来源 + 阶段”分层，避免所有中间产物堆在根目录。
+`outputs/` 按来源和运行批次组织。当前推荐区分生产产物与调试产物。

-## 目录约定
+## 生产默认输出
+
+对于 FreshRSS 主流水线，默认只保留这 3 类文件：
+
+- `outputs/freshrss/rerun/<run_id>/raw/freshrss.raw.json`
+  - FreshRSS 原始响应快照
+- `outputs/freshrss/rerun/<run_id>/candidates/openclaw-delivery-payload.json`
+  - 发给 OpenClaw 的最终批量 payload
+- `outputs/freshrss/rerun/<run_id>/run-report.json`
+  - 本次批处理的运行报告
+
+这是当前推荐的生产模式。
+
+## 调试扩展输出
+
+当启用 `debug_artifacts` 时，才会额外写出这些中间文件：
+
+- `outputs/freshrss/rerun/<run_id>/items/`
+  - 标准化 `item` 中间文件
+- `outputs/freshrss/rerun/<run_id>/extracted/`
+  - 提取结果
+- `outputs/freshrss/rerun/<run_id>/summary/`
+  - LLM 总结结果及调试尝试文件
+- `outputs/freshrss/rerun/<run_id>/filter/`
+  - 规则过滤结果
+- `outputs/freshrss/rerun/<run_id>/candidates/*.article-candidate-record.json`
+  - 内部候选记录
+- `outputs/freshrss/rerun/<run_id>/candidates/*.openclaw-candidate-input.json`
+  - 单篇 OpenClaw 输入对象
+
+## 何时启用调试产物
+
+只在这些场景启用：
+
+- 某一批次有异常，需要定位是提取、总结还是过滤阶段出错
+- 需要核对某条内容为什么被 `keep` / `review` / `drop`
+- 需要为规则调整收集样本
+
+平时不要默认开启。
+
+## 参考目录

 - `outputs/prompts/`
-  - prompt 模板与调试输入
+  - Prompt 模板
 - `outputs/reference/`
-  - 手工样例、固定参考输入、通用演示产物
- `outputs/reference/extracted/`
-  - 参考提取结果
- `outputs/reference/summary/`
-  - 通用摘要结果与 loop 调试产物
- `outputs/reference/filter/`
-  - 通用过滤结果与上下文样例
- `outputs/reference/candidates/`
-  - 通用 `article_candidate` 样例
+  - 手工样例、固定参考输入输出
 - `outputs/freshrss/`
-  - FreshRSS 实跑产物
- `outputs/freshrss/raw/`
-  - greader 原始响应
- `outputs/freshrss/items/`
-  - entry -> `item` 映射结果
- `outputs/freshrss/extracted/`
-  - FreshRSS 文章提取结果
- `outputs/freshrss/summary/`
-  - FreshRSS 摘要 loop 结果与调试文件
- `outputs/freshrss/filter/`
-  - FreshRSS 过滤结果
- `outputs/freshrss/candidates/`
-  - FreshRSS `article_candidate` 结果
+  - FreshRSS 实跑批次输出

 ## 命名原则

- 默认脚本输出应优先写入对应子目录，不再直接写 `outputs/` 根目录。
- 同一条链路的调试文件放在同一阶段目录里，例如 `result.loop.json` 与 `result.loop.attempt-*.json`。
- `reference/` 只放可复用的稳定样例，真实运行数据优先放 `freshrss/`。
+- 每次批处理使用独立目录：`outputs/freshrss/rerun/<timestamp>/`
+- 默认优先保留最终产物，不把所有中间文件都当成长期资产
+- 调试文件只在需要时生成
+- `reference/` 只放可复用样例，不放真实生产批次数据
+
+## 当前建议
+
+如果目标是交给 OpenClaw 稳定消费，优先依赖：
+
+- `openclaw-delivery-payload.json`
+- `run-report.json`
+- `freshrss.raw.json`
+
+其余文件默认都应视为调试辅助产物。