Wat is belangrijk om te weten over het contextvenster? Retourneer JSON {"facts": [lijst met meer dan 2 feiten], "why": "kort"}.
Het model heeft een beperkt contextvenster: hoeveel tekst (in tokens) het tegelijkertijd ziet: de systeemprompt, geschiedenis, documenten en reactie. Belangrijkste feiten: het venster is eindig – de eindeloze geschiedenis past er niet in, het oude wordt eruit gedwongen; elk token in het venster kost bij elk verzoek geld en tijd; het model “onthoudt” alleen wat er momenteel in het venster staat - het slaat zelf geen eerdere chats op; dichter bij de limiet nemen de kwaliteit en de aandacht voor detail af. Daarom bepaal je in de applicatie zelf wat je in het venster zet. Regel: het contextvenster is het bureaublad van het model, niet het langetermijngeheugen; het is beperkt en betaald, plaats alleen wat je nodig hebt.