Co jest nie tak z tym fragmentowaniem i jak mogę to naprawić? Zwróć JSON {"problem": "problem", "fix": "jak naprawić"}.
RAG zaczyna od pocięcia dokumentów na kawałki – nie da się umieścić całej bazy danych w odpowiednim kontekście (jest to drogie i nie mieści się). Sposób, w jaki go przetniesz, zostanie znaleziony. Zbyt duże kawałki zamazują znaczenie i spalają żetony; zbyt małe tracą kontekst (fragment zdania bez wsparcia). Dobra praktyka: tnij wzdłuż granic semantycznych (akapitów, sekcji), a nie ślepo według znaków i dodaj nakładanie się (nakładanie się), aby nie zgubić pomysłu na styku dwóch fragmentów. Metadane (źródło, sekcja) są dołączone do każdego fragmentu w celu filtrowania i odwoływania się. Złe porcjowanie jest głównym powodem, dla którego „RAG nie znajduje tego, co oczywiste”.