Có vấn đề gì với việc chunking này và làm cách nào để khắc phục nó? Trả về JSON {"problem": "sự cố", "fix": "cách khắc phục"}.
RAG bắt đầu bằng việc cắt tài liệu thành từng phần (khối) - không thể đưa toàn bộ cơ sở dữ liệu vào ngữ cảnh (nó đắt và không phù hợp). Cách bạn cắt nó, nó sẽ được tìm thấy. Các đoạn quá lớn sẽ làm mờ ý nghĩa và đốt cháy mã thông báo; những từ quá nhỏ sẽ làm mất ngữ cảnh (một đoạn câu không có phần hỗ trợ). Cách làm tốt: cắt dọc theo ranh giới ngữ nghĩa (đoạn, phần), không mù quáng theo ký tự, thêm phần chồng chéo (chồng chéo) để ý ở điểm nối của hai đoạn không bị mất đi. Siêu dữ liệu (nguồn, phần) được đính kèm vào từng đoạn để lọc và tham khảo. Phân đoạn không tốt là lý do chính khiến "RAG không tìm thấy điều hiển nhiên".