¿Qué hay de malo en esta fragmentación y cómo puedo solucionarlo? Devuelve JSON {"problem": "problema", "fix": "cómo solucionarlo"}.
RAG comienza cortando los documentos en pedazos (fragmentos): es imposible poner en contexto toda la base de datos (es costoso y no cabe). De la forma en que lo cortes, se encontrará. Los fragmentos que son demasiado grandes desdibujan el significado y queman las fichas; los demasiado pequeños pierden contexto (un fragmento de oración sin apoyo). Buena práctica: corte a lo largo de los límites semánticos (párrafos, secciones), y no ciegamente según los caracteres, y agregue una superposición (superposición) para que la idea en la unión de dos fragmentos no se pierda. Los metadatos (fuente, sección) se adjuntan a cada fragmento para filtrado y referencias. La mala fragmentación es la razón principal por la que "RAG no encuentra lo obvio".