docs: 重构文档结构，分离学习笔记和 MVP 架构设计

**变更概述：** - 将 MVP 架构设计文档独立到项目根目录 `mvp/` - 整理 `docs/` 为纯学习和分析文档目录 - 按类型分类：learning（学习）、analysis（分析）、reports（报告）、guides（指南） **目录结构：** ``` mvp/ # MVP 架构设计（独立） ├── README.md # 数据库设计总览 ├── architecture/ # 架构文档 │ ├── agent-architecture-mvp.md │ ├── implementation-plan.md │ └── ... └── tables/ # 数据表设计 docs/ # 学习和分析文档 ├── learning/ # 学习笔记（00-08 编号） ├── analysis/ # 分析笔记 + 重构计划 ├── reports/ # 临时报告 └── guides/ # 指南文档 ``` **详细变更：** - docs/README.md → mvp/README.md（数据库设计入口） - docs/architecture/ → mvp/architecture/（架构设计） - docs/tables/ → mvp/tables/（数据表设计） - docs/学习笔记-*.md → docs/learning/07-*.md, 08-*.md - docs/项目学习路径.md → docs/learning/00-*.md - docs/功能分析报告.md → docs/analysis/ - docs/修复报告-*.md → docs/reports/ - docs/日志配置*.md → docs/guides/ 或 docs/reports/ - docs/design/ → docs/analysis/（问题分析和重构计划）
2026-06-23 14:14:51 +08:00
parent caef477cec
commit 60be51f4a5
25 changed files with 339 additions and 606 deletions
@@ -0,0 +1,282 @@
+# 当前分片策略问题分析与根因
+
+> 基于 `DocumentChunkServiceTest` 可视化测试的运行结果  
+> 配置：`maxSize=800, overlap=100`（默认） / 可视化测试使用 `maxSize=300/200, overlap=50/30`
+
+---
+
+## 问题总览
+
+| # | 问题 | 严重程度 | 根因归类 |
+|---|------|----------|----------|
+| 1 | 标题独立成空壳块 | 中 | 标题分割逻辑 |
+| 2 | 有序列表被拆散 | 高 | 段落级切割 + 缺少结构感知 |
+| 3 | 英文块 token 密度远低于中文块 | 高 | 字符计数代替 token 计数 |
+| 4 | 硬截断点在语义转折处无特殊处理 | 中 | 仅依赖 maxSize 触发 |
+| 5 | overlap 窗口对中文句号后截取命中率低 | 低 | 句子校准逻辑覆盖不全 |
+
+---
+
+## 问题 1：标题独立成空壳块
+
+### 现象
+
+运维文档 `maxSize=300` 下，H1 标题产生了一个只有 14 字符的分块：
+
+```
+Chunk #0
+│  Title: CPU高负载问题排查指南
+│  Range: [0→14] (14字符)
+│  Content:
+│  │ # CPU高负载问题排查指南
+```
+
+紧随其后的 `## 问题现象` 被分到下一个块。14 字符的块没有任何可检索的实质内容。
+
+### 根因
+
+```java
+// DocumentChunkService.java:71-83
+while (matcher.find()) {
+    // 保存上一个章节
+    if (lastEnd < matcher.start()) {
+        String sectionContent = content.substring(lastEnd, matcher.start()).trim();
+        if (!sectionContent.isEmpty()) {           // ← 条件：content 非空
+            sections.add(new Section(currentTitle, sectionContent, lastEnd));
+        }
+    }
+    currentTitle = matcher.group(2).trim();
+    lastEnd = matcher.start();
+}
+```
+
+`splitByHeadings()` 遍历标题时，`lastEnd` 指向当前标题起始位置，`matcher.start()` 是下一个标题的起始位置。当 H1 后紧跟 H2（中间只有 `#` 行本身的内容），`content.substring(lastEnd, matcher.start())` 取出的是 **H1 标题行本身 + H1 标题行和 H2 之间的空白**。
+
+关键问题：
+- H1 标题行被当作上一个 section 的 "content" 保存（因为中间文本不为空——标题行本身是文本）
+- 但实质上标题不应该独立成为一个可检索的分块
+
+### 影响
+
+- 向量库中出现大量无效向量（仅含标题、无实质内容）
+- 检索时可能召回标题块，Agent 得不到有用信息
+- 浪费 Milvus 存储空间
+
+---
+
+## 问题 2：有序列表被拆散
+
+### 现象
+
+排查步骤 1-4 在 Chunk #2，第 5 步被单独踢到 Chunk #3：
+
+```
+Chunk #2  →  1. 登录服务器...  2. 使用 ps...  3. 查看应用日志...  4. 检查数据库...
+Chunk #3  →  5. 检查JVM内存...
+```
+
+Agent 调用工具拿到 Chunk #2 时，排查步骤不完整，可能漏掉关键操作。
+
+### 根因
+
+```java
+// DocumentChunkService.java:174-188
+private List<String> splitByParagraphs(String content) {
+    List<String> paragraphs = new ArrayList<>();
+    String[] parts = content.split("\n\n+");    // ← 双换行分割
+    for (String part : parts) {
+        String trimmed = part.trim();
+        if (!trimmed.isEmpty()) {
+            paragraphs.add(trimmed);
+        }
+    }
+    return paragraphs;
+}
+```
+
+```java
+// DocumentChunkService.java:132-148
+if (currentChunk.length() > 0 &&
+    currentChunk.length() + paragraph.length() > chunkConfig.getMaxSize()) {
+    // 触发切分——不关心这个段落属于什么语义结构
+    String overlap = getOverlapText(chunkContent);
+    currentChunk = new StringBuilder(overlap);
+}
+currentChunk.append(paragraph).append("\n\n");
+```
+
+两层根因：
+1. `splitByParagraphs()` 只认 `\n\n+` 作为段落分割符，不识别 **有序列表**（`1. \n2. \n3.` 之间通常是单换行）
+2. `chunkSection()` 走到字符上限就切，完全不感知"这是一个列表的第几项"——列表项之间的语义强关联被忽略
+
+### 影响
+
+- 排查步骤、操作指南类文档的完整性被破坏
+- RAG 检索召回不完整的步骤列表，Agent 据此操作可能导致遗漏
+- 这是运维场景的致命问题——运维文档大量使用列表
+
+---
+
+## 问题 3：英文块 token 密度远低于中文块
+
+### 现象
+
+可视化测试数据：
+
+```
+中文: 218字符 → 2个分块（约218 tokens，密度 ~1.0 token/字符）
+英文: 602字符 → 3个分块（约150 tokens，密度 ~0.25 token/字符）
+```
+
+同样 `maxSize=200`，英文 602 字符装了 150 token 还产生 3 个分块；中文 218 字符装了 218 token 只产生 2 个分块。中文块的实际 token 负担是英文的 **~4x**。
+
+### 根因
+
+```java
+// DocumentChunkConfig.java:18
+private int maxSize = 800;   // 字符数上限
+
+// DocumentChunkService.java:132-133
+if (currentChunk.length() + paragraph.length() > chunkConfig.getMaxSize()) {
+    // 这里比的是 Java String.length() — 字符数，不是 token 数
+```
+
+Java 的 `String.length()` 对每个 Unicode 字符（包括中文）都返回 1。但 LLM tokenizer 对中文和英文的 token 化效率完全不同：
+
+```
+"这是中文"          → 4 字符 → ~4 tokens             (1:1)
+"This is English"   → 15 字符 → ~4 tokens             (3.75:1)
+```
+
+用字符数作为切割上限，相当于：
+- 中文块：可以装 800 token（甚至更多）
+- 英文块：只能装 ~200 token
+
+LLM 上下文窗口是按 token 计费的，这种偏差意味着**中文知识库的 RAG 开销是英文的 4 倍**。
+
+### 影响
+
+- LLM 调用成本不可预测（中英混排时波动大）
+- 中文知识库的上下文窗口利用率极易超标
+- 无法对 prompt 的 token 预算做精确控制
+
+---
+
+## 问题 4：硬截断在语义转折处无特殊处理
+
+### 现象
+
+同问题 2 的根因延伸。当前逻辑：
+
+```
+段落1 + 段落2 + 段落3 + ... + 段落N → 总字符数 < maxSize → 继续追加
+                                     → 总字符数 > maxSize → 立刻切
+```
+
+不考虑「段落 N 和段落 N+1 是否属于同一语义单元」。两个语义上需要绑定的段落恰好越过 maxSize 边界就会被拆散。
+
+### 根因
+
+```java
+// DocumentChunkService.java:132
+if (currentChunk.length() + paragraph.length() > chunkConfig.getMaxSize()) {
+```
+
+触发条件只有一个——字符数。不缺以下信号：
+- 相邻段落的语义相似度（可用 embedding 计算）
+- 当前缓冲区是否处于列表/表格/代码块内部
+- 当前位置是否是 Markdown 层级的自然边界（如 `##` 标题前）
+
+### 影响
+
+- 切出来的分块边界在语义上不可预测
+- 同一主题的内容可能跨越两个分块，召回时只能拿到一半上下文
+
+---
+
+## 问题 5：overlap 句子校准对中文覆盖不全
+
+### 现象
+
+测试用的中文句子边界校准场景中，文档字数不足 `maxSize=100`，未触发切分。但即便触发，当前校准逻辑存在盲区：
+
+```java
+// DocumentChunkService.java:203-206
+int lastSentenceEnd = Math.max(
+    overlap.lastIndexOf('。'),          // 只有三个终止符
+    Math.max(overlap.lastIndexOf('？'), overlap.lastIndexOf('！'))
+);
+```
+
+### 根因
+
+中文句子终止符不止 `。？！` 三种：
+
+| 终止符 | 是否覆盖 | 遗漏场景 |
+|--------|----------|----------|
+| `。` | ✅ | — |
+| `？` | ✅ | — |
+| `！` | ✅ | — |
+| `；`（分号） | ❌ | 长复句的语义断点 |
+| `：`（冒号） | ❌ | 列表/说明的引入点 |
+| `……` | ❌ | 省略号表示语义未尽 |
+| `\n`（换行） | ❌ | 中文短句常用换行代替标点 |
+
+阈值逻辑也有盲区：
+
+```java
+if (lastSentenceEnd > overlapSize / 2) {
+    // only apply if sentence boundary is in the LATER half of overlap
+}
+```
+
+如果句子边界在重叠区的前半段（即离截断点不到 overlap/2），直接退回原始截取——但实际上即使在前半段，也比随机截取更好。
+
+### 影响
+
+- 中文内容的重叠窗口可能从句子中间截取
+- 新分块的"种子"文本不完整，影响该块的语义完整性
+
+---
+
+## 根因总结
+
+所有 5 个问题的根源收敛到两点：
+
+### 根因 A：切割触发器只有一个维度——字符数
+
+```
+currentChunk.length() + paragraph.length() > maxSize   →   切！
+```
+
+这个条件不知道：
+- 这个"paragraph"是列表项还是普通段落？（问题 2）
+- 中文还是英文？（问题 3）
+- 和上一条内容语义紧密还是已经转移话题？（问题 4）
+- 这个位置是在 Markdown 结构树上的什么层级？（问题 1）
+
+### 根因 B：文档结构感知仅限于正则标题
+
+```java
+Pattern headingPattern = Pattern.compile("^(#{1,6})\\s+(.+)$", Pattern.MULTILINE);
+```
+
+这是唯一的结构感知入口。正则比 AST 脆弱，无法区分：
+- 代码块内的 `#` 注释 vs 真正的 Markdown 标题
+- 列表项 vs 段落
+- 代码块 vs 正文
+- 表格 vs 正文
+
+---
+
+## 修复优先级建议
+
+| 优先级 | 问题 | 对策 | 改动量 |
+|--------|------|------|--------|
+| P0 | 问题 3（中英 token 密度） | 字符计数 → token 计数 | ~10 行 |
+| P0 | 问题 2（列表拆散） | 增加列表结构感知 | ~30 行 |
+| P1 | 问题 1（标题空壳） | 标题与下一个 H2 之间内容为空时合并 | ~15 行 |
+| P1 | 问题 4（硬截断） | 语义相似度辅助决策切点 | ~30 行 |
+| P2 | 问题 5（句子校准覆盖） | 增加终止符 + 降低阈值条件 | ~5 行 |
+
+最终方案：替换为 Spring AI `TokenTextSplitter`，同时保留本项目特有的 `title` 元数据传播能力（因为 `TokenTextSplitter` 也不感知 Markdown 标题）。