这种分块有什么问题以及如何修复它?返回 JSON {"problem": "问题", "fix": "如何修复"}。
RAG 首先将文档切成碎片(块) - 不可能将整个数据库放入上下文中(它很昂贵并且不适合)。你用什么方式切割它,就会发现它。太大的块会模糊含义并烧毁代币;太小会失去上下文(没有支持的句子的一部分)。好的做法:沿着语义边界(段落、章节)进行切割,而不是盲目地根据字符,添加重叠(overlap),这样两个块连接处的思想就不会丢失。元数据(源、部分)附加到每个块以进行过滤和引用。糟糕的分块是“RAG 找不到明显的东西”的主要原因。