Окно контекста

У модели есть ограниченное окно контекста — сколько текста (в токенах) она видит за раз: и системный промпт, и история, и документы, и ответ. Ключевые факты: окно конечно — бесконечная история не влезает, старое вытесняется; каждый токен в окне стоит денег и времени на каждом запросе; модель «помнит» только то, что сейчас в окне, — сама по себе она не хранит прошлые чаты; ближе к пределу качество и внимание к деталям падают. Поэтому в приложении ты сам решаешь, что положить в окно. Правило: окно контекста — рабочий стол модели, а не её долгая память; он ограничен и платный, клади туда только нужное.