LearnAI
模块 5 · RAG 深(专业版) · 1/6
← 前往目录
任务

分块:如何剪切文档

这种分块有什么问题以及如何修复它?返回 JSON {"problem": "问题", "fix": "如何修复"}。

解锁提交解决方案以供即时 AI 审核的权限。免费开始
优质 RAG 的基础
💡 一个理论

RAG 首先将文档切成碎片(块) - 不可能将整个数据库放入上下文中(它很昂贵并且不适合)。你用什么方式切割它,就会发现它。太大的块会模糊含义并烧毁代币;太小会失去上下文(没有支持的句子的一部分)。好的做法:沿着语义边界(段落、章节)进行切割,而不是盲目地根据字符,添加重叠(overlap),这样两个块连接处的思想就不会丢失。元数据(源、部分)附加到每个块以进行过滤和引用。糟糕的分块是“RAG 找不到明显的东西”的主要原因。

如何评估·通过 70

  • 1周围没有文本的有效 JSON30%
  • 2有字段problem和fix35%
  • 3100 个字符失去上下文;按意义剪切+重叠35%
您的提示Claude ⌄