Co warto wiedzieć o oknie kontekstowym? Zwróć JSON {"facts": [lista ponad 2 faktów], "why": "krótko"}.
Model ma ograniczone okno kontekstowe — ile tekstu (w tokenach) widzi jednocześnie: monit systemowy, historia, dokumenty i odpowiedź. Kluczowe fakty: okno jest skończone – niekończąca się historia nie mieści się, stara zostaje wyrzucona; każdy token w oknie kosztuje i kosztuje czas przy każdym żądaniu; model „pamięta” tylko to, co aktualnie znajduje się w oknie - sam nie przechowuje przeszłych czatów; bliżej limitu, jakość i dbałość o szczegóły spadają. Dlatego w aplikacji sam decydujesz, co umieścić w oknie. Reguła: oknem kontekstowym jest pulpit modelu, a nie jego pamięć długoterminowa; jest ograniczona i płatna, umieść tam tylko to, czego potrzebujesz.