Чанкинг: как резать документы

RAG начинается с нарезки документов на куски (чанки) — подать всю базу в контекст нельзя (дорого и не влезет). Как режешь — так и найдётся. Слишком крупные чанки размывают смысл и жгут токены; слишком мелкие теряют контекст (кусок предложения без опоры). Хорошая практика: резать по смысловым границам (абзацы, разделы), а не вслепую по символам, и добавлять перекрытие (overlap) — чтобы мысль на стыке двух чанков не терялась. К каждому чанку прикрепляют метаданные (источник, раздел) — для фильтрации и ссылок. Плохой чанкинг — главная причина, почему «RAG не находит очевидное».