¿Qué es importante saber sobre la ventana de contexto? Devuelve JSON {"facts": [lista de más de 2 hechos], "why": "brevemente"}.
El modelo tiene una ventana de contexto limitada: cuánto texto (en tokens) ve a la vez: el mensaje del sistema, el historial, los documentos y la respuesta. Hechos clave: la ventana es finita: la historia interminable no cabe, lo viejo es expulsado; cada token en la ventana cuesta dinero y tiempo en cada solicitud; el modelo "recuerda" sólo lo que hay actualmente en la ventana; él mismo no almacena chats pasados; Más cerca del límite, la calidad y la atención al detalle decaen. Por tanto, en la aplicación tú mismo decides qué poner en la ventana. Regla: la ventana contextual es el escritorio del modelo, no su memoria a largo plazo; es limitado y de pago, pon ahí sólo lo que necesites.