Janela de contexto

O modelo tem uma janela de contexto limitada - quanto texto (em tokens) ele vê por vez: o prompt do sistema, histórico, documentos e resposta. Fatos principais: a janela é finita – a história sem fim não cabe, o velho é forçado a sair; cada token na janela custa dinheiro e tempo em cada solicitação; o modelo “lembra” apenas o que está atualmente na janela - ele próprio não armazena chats anteriores; mais perto do limite, a qualidade e a atenção aos detalhes diminuem. Portanto, no aplicativo você decide o que colocar na janela. Regra: a janela de contexto é a área de trabalho do modelo, não sua memória de longo prazo; é limitado e pago, coloque lá apenas o que você precisa.