Cosa è importante sapere sulla finestra di contesto? Restituisce JSON {"facts": [elenco di 2+ fatti], "why": "brevemente"}.
Il modello ha una finestra di contesto limitata: quanto testo (in token) vede alla volta: prompt del sistema, cronologia, documenti e risposta. Fatti chiave: la finestra è finita - la storia infinita non si adatta, il vecchio viene espulso; ogni token nella finestra costa denaro e tempo per ogni richiesta; il modello “ricorda” solo ciò che è attualmente nella finestra - di per sé non memorizza le chat passate; avvicinandosi al limite, la qualità e l'attenzione al dettaglio declinano. Pertanto, nell'applicazione decidi tu stesso cosa mettere nella finestra. Regola: la finestra di contesto è il desktop del modello, non la sua memoria a lungo termine; è limitato e a pagamento, metti lì solo quello che ti serve.