Що важливо знати про вікно контексту? Поверни JSON {"facts": [список з 2+ фактів], "why": "коротко"}.
Модель має обмежене вікно контексту — скільки тексту (у токенах) вона бачить за раз: і системний промпт, і історія, і документи, і відповідь. Ключові факти: вікно звичайно - нескінченна історія не влазить, старе витісняється; кожен токен у вікні коштує грошей та часу на кожному запиті; модель "пам'ятає" тільки те, що зараз у вікні, - сама по собі вона не зберігає минулі чати; ближче до межі якість та увага до деталей падають. Тому в додатку ти сам вирішуєш, що покласти у вікно. Правило: вікно контексту – робочий стіл моделі, а не її довга пам'ять; він обмежений і платний, клади туди лише потрібне.