SuperBizAgent-java/docs/design/chunking-issues-analysis.md

当前分片策略问题分析与根因

基于 DocumentChunkServiceTest 可视化测试的运行结果
配置：maxSize=800, overlap=100（默认） / 可视化测试使用 maxSize=300/200, overlap=50/30

---

问题总览

#	问题	严重程度	根因归类
1	标题独立成空壳块	中	标题分割逻辑
2	有序列表被拆散	高	段落级切割 + 缺少结构感知
3	英文块 token 密度远低于中文块	高	字符计数代替 token 计数
4	硬截断点在语义转折处无特殊处理	中	仅依赖 maxSize 触发
5	overlap 窗口对中文句号后截取命中率低	低	句子校准逻辑覆盖不全

---

问题 1：标题独立成空壳块

现象

运维文档 maxSize=300 下，H1 标题产生了一个只有 14 字符的分块：

Chunk #0
│  Title: CPU高负载问题排查指南
│  Range: [0→14] (14字符)
│  Content:
│  │ # CPU高负载问题排查指南

紧随其后的 ## 问题现象 被分到下一个块。14 字符的块没有任何可检索的实质内容。

根因

// DocumentChunkService.java:71-83
while (matcher.find()) {
    // 保存上一个章节
    if (lastEnd < matcher.start()) {
        String sectionContent = content.substring(lastEnd, matcher.start()).trim();
        if (!sectionContent.isEmpty()) {           // ← 条件：content 非空
            sections.add(new Section(currentTitle, sectionContent, lastEnd));
        }
    }
    currentTitle = matcher.group(2).trim();
    lastEnd = matcher.start();
}

splitByHeadings() 遍历标题时，lastEnd 指向当前标题起始位置，matcher.start() 是下一个标题的起始位置。当 H1 后紧跟 H2（中间只有 # 行本身的内容），content.substring(lastEnd, matcher.start()) 取出的是 H1 标题行本身 + H1 标题行和 H2 之间的空白。

关键问题：

• H1 标题行被当作上一个 section 的 "content" 保存（因为中间文本不为空——标题行本身是文本）
• 但实质上标题不应该独立成为一个可检索的分块

影响

• 向量库中出现大量无效向量（仅含标题、无实质内容）
• 检索时可能召回标题块，Agent 得不到有用信息
• 浪费 Milvus 存储空间

---

问题 2：有序列表被拆散

现象

排查步骤 1-4 在 Chunk #2，第 5 步被单独踢到 Chunk #3：

Chunk #2  →  1. 登录服务器...  2. 使用 ps...  3. 查看应用日志...  4. 检查数据库...
Chunk #3  →  5. 检查JVM内存...

Agent 调用工具拿到 Chunk #2 时，排查步骤不完整，可能漏掉关键操作。

根因

// DocumentChunkService.java:174-188
private List<String> splitByParagraphs(String content) {
    List<String> paragraphs = new ArrayList<>();
    String[] parts = content.split("\n\n+");    // ← 双换行分割
    for (String part : parts) {
        String trimmed = part.trim();
        if (!trimmed.isEmpty()) {
            paragraphs.add(trimmed);
        }
    }
    return paragraphs;
}

// DocumentChunkService.java:132-148
if (currentChunk.length() > 0 &&
    currentChunk.length() + paragraph.length() > chunkConfig.getMaxSize()) {
    // 触发切分——不关心这个段落属于什么语义结构
    String overlap = getOverlapText(chunkContent);
    currentChunk = new StringBuilder(overlap);
}
currentChunk.append(paragraph).append("\n\n");

两层根因：

1. splitByParagraphs() 只认 \n\n+ 作为段落分割符，不识别 有序列表（1. \n2. \n3. 之间通常是单换行）
2. chunkSection() 走到字符上限就切，完全不感知"这是一个列表的第几项"——列表项之间的语义强关联被忽略

影响

• 排查步骤、操作指南类文档的完整性被破坏
• RAG 检索召回不完整的步骤列表，Agent 据此操作可能导致遗漏
• 这是运维场景的致命问题——运维文档大量使用列表

---

问题 3：英文块 token 密度远低于中文块

现象

可视化测试数据：

中文: 218字符 → 2个分块（约218 tokens，密度 ~1.0 token/字符）
英文: 602字符 → 3个分块（约150 tokens，密度 ~0.25 token/字符）

同样 maxSize=200，英文 602 字符装了 150 token 还产生 3 个分块；中文 218 字符装了 218 token 只产生 2 个分块。中文块的实际 token 负担是英文的 ~4x。

根因

// DocumentChunkConfig.java:18
private int maxSize = 800;   // 字符数上限

// DocumentChunkService.java:132-133
if (currentChunk.length() + paragraph.length() > chunkConfig.getMaxSize()) {
    // 这里比的是 Java String.length() — 字符数，不是 token 数

Java 的 String.length() 对每个 Unicode 字符（包括中文）都返回 1。但 LLM tokenizer 对中文和英文的 token 化效率完全不同：

"这是中文"          → 4 字符 → ~4 tokens             (1:1)
"This is English"   → 15 字符 → ~4 tokens             (3.75:1)

用字符数作为切割上限，相当于：

• 中文块：可以装 800 token（甚至更多）
• 英文块：只能装 ~200 token

LLM 上下文窗口是按 token 计费的，这种偏差意味着中文知识库的 RAG 开销是英文的 4 倍。

影响

• LLM 调用成本不可预测（中英混排时波动大）
• 中文知识库的上下文窗口利用率极易超标
• 无法对 prompt 的 token 预算做精确控制

---

问题 4：硬截断在语义转折处无特殊处理

现象

同问题 2 的根因延伸。当前逻辑：

段落1 + 段落2 + 段落3 + ... + 段落N → 总字符数 < maxSize → 继续追加
                                     → 总字符数 > maxSize → 立刻切

不考虑「段落 N 和段落 N+1 是否属于同一语义单元」。两个语义上需要绑定的段落恰好越过 maxSize 边界就会被拆散。

根因

// DocumentChunkService.java:132
if (currentChunk.length() + paragraph.length() > chunkConfig.getMaxSize()) {

触发条件只有一个——字符数。不缺以下信号：

• 相邻段落的语义相似度（可用 embedding 计算）
• 当前缓冲区是否处于列表/表格/代码块内部
• 当前位置是否是 Markdown 层级的自然边界（如 ## 标题前）

影响

• 切出来的分块边界在语义上不可预测
• 同一主题的内容可能跨越两个分块，召回时只能拿到一半上下文

---

问题 5：overlap 句子校准对中文覆盖不全

现象

测试用的中文句子边界校准场景中，文档字数不足 maxSize=100，未触发切分。但即便触发，当前校准逻辑存在盲区：

// DocumentChunkService.java:203-206
int lastSentenceEnd = Math.max(
    overlap.lastIndexOf('。'),          // 只有三个终止符
    Math.max(overlap.lastIndexOf('？'), overlap.lastIndexOf('！'))
);

根因

中文句子终止符不止 。？！ 三种：

终止符	是否覆盖	遗漏场景
。	✅	—
？	✅	—
！	✅	—
；（分号）	❌	长复句的语义断点
：（冒号）	❌	列表/说明的引入点
……	❌	省略号表示语义未尽
\n（换行）	❌	中文短句常用换行代替标点

阈值逻辑也有盲区：

if (lastSentenceEnd > overlapSize / 2) {
    // only apply if sentence boundary is in the LATER half of overlap
}

如果句子边界在重叠区的前半段（即离截断点不到 overlap/2），直接退回原始截取——但实际上即使在前半段，也比随机截取更好。

影响

• 中文内容的重叠窗口可能从句子中间截取
• 新分块的"种子"文本不完整，影响该块的语义完整性

---

根因总结

所有 5 个问题的根源收敛到两点：

根因 A：切割触发器只有一个维度——字符数

currentChunk.length() + paragraph.length() > maxSize   →   切！

这个条件不知道：

• 这个"paragraph"是列表项还是普通段落？（问题 2）
• 中文还是英文？（问题 3）
• 和上一条内容语义紧密还是已经转移话题？（问题 4）
• 这个位置是在 Markdown 结构树上的什么层级？（问题 1）

根因 B：文档结构感知仅限于正则标题

Pattern headingPattern = Pattern.compile("^(#{1,6})\\s+(.+)$", Pattern.MULTILINE);

这是唯一的结构感知入口。正则比 AST 脆弱，无法区分：

• 代码块内的 # 注释 vs 真正的 Markdown 标题
• 列表项 vs 段落
• 代码块 vs 正文
• 表格 vs 正文

---

修复优先级建议

优先级	问题	对策	改动量
P0	问题 3（中英 token 密度）	字符计数 → token 计数	~10 行
P0	问题 2（列表拆散）	增加列表结构感知	~30 行
P1	问题 1（标题空壳）	标题与下一个 H2 之间内容为空时合并	~15 行
P1	问题 4（硬截断）	语义相似度辅助决策切点	~30 行
P2	问题 5（句子校准覆盖）	增加终止符 + 降低阈值条件	~5 行

最终方案：替换为 Spring AI TokenTextSplitter，同时保留本项目特有的 title 元数据传播能力（因为 TokenTextSplitter 也不感知 Markdown 标题）。