如何在不牺牲质量的情况下降低成本?返回 JSON {"tactics": [2+ 技术列表], "why": "简要"}。
AI 调用每个代币都要花钱——在流上,这是产品的主要费用项目。 “我们通过最强大的模型驱动一切”的天真计划被毁了。节省杠杆:将简单的任务直接交给便宜/快速的模型,并将旗舰任务保存为复杂的任务(路由);缓存重复的响应和提示;限制max_tokens,使模型不扩散;在提示中删除额外的上下文(每个额外的令牌对于每个请求来说都是金钱);尽可能分组请求(批量)。规则:80% 的请求通常很简单 - 通过旗舰发送它们是浪费。在启动前计算每 1000 个请求的成本。