关于上下文窗口需要了解哪些重要信息?返回 JSON {“facts”:[2 个以上事实的列表],“why”:“简要”}。
该模型的上下文窗口有限 - 一次看到多少文本(以标记为单位):系统提示、历史记录、文档和响应。关键事实:窗口是有限的——无尽的历史不适合,旧的被挤出;窗口中的每个令牌在每次请求时都会花费金钱和时间;该模型仅“记住”当前窗口中的内容 - 它本身不存储过去的聊天记录;接近极限,质量和对细节的关注度下降。因此,在应用程序中,您可以自己决定在窗口中放置什么。规则:上下文窗口是模型的桌面,而不是其长期记忆;它是有限的并且付费的,只放你需要的东西。