Quel est le problème avec ce découpage et comment puis-je y remédier ? Renvoyez JSON {"problem": "problème", "fix": "comment résoudre"}.
RAG commence par découper les documents en morceaux (morceaux) - il est impossible de mettre l'ensemble de la base de données dans son contexte (c'est cher et ne rentre pas). De la manière dont vous le coupez, il sera retrouvé. Les morceaux trop gros brouillent le sens et brûlent les jetons ; les trop petits perdent leur contexte (un morceau de phrase sans support). Bonne pratique : découper le long des frontières sémantiques (paragraphes, sections), et non aveuglément selon les caractères, et ajouter un chevauchement (chevauchement) pour que l'idée à la jonction de deux morceaux ne soit pas perdue. Les métadonnées (source, section) sont attachées à chaque morceau à des fins de filtrage et de références. Un mauvais chunking est la principale raison pour laquelle "RAG ne trouve pas l'évidence".