चंकिंग: दस्तावेज़ कैसे काटें

RAG दस्तावेज़ों को टुकड़ों में काटने से शुरू होता है - पूरे डेटाबेस को संदर्भ में रखना असंभव है (यह महंगा है और फिट नहीं होगा)। जैसे काटोगे वैसे ही मिल जायेगा. जो टुकड़े बहुत बड़े होते हैं वे अर्थ को धुंधला कर देते हैं और टोकन जला देते हैं; बहुत छोटे संदर्भ खो देते हैं (बिना समर्थन के वाक्य का एक टुकड़ा)। अच्छा अभ्यास: शब्दार्थ सीमाओं (पैराग्राफ, अनुभाग) के साथ काटें, और वर्णों के अनुसार अंधाधुंध न करें, और एक ओवरलैप (ओवरलैप) जोड़ें ताकि दो हिस्सों के जंक्शन पर विचार खो न जाए। मेटाडेटा (स्रोत, अनुभाग) फ़िल्टरिंग और संदर्भ के लिए प्रत्येक खंड से जुड़ा हुआ है। खराब खंडन मुख्य कारण है कि "आरएजी को स्पष्ट चीजें नहीं मिल पाती हैं।"