Контроль расходов на AI

AI-вызовы стоят денег за каждый токен — на потоке это главная статья расходов продукта. Наивная схема «всё гоним через самую мощную модель» разоряет. Рычаги экономии: направлять простые задачи на дешёвую/быструю модель, а флагман беречь для сложных (роутинг); кэшировать повторяющиеся ответы и промпты; ограничивать max_tokens, чтобы модель не растекалась; резать лишний контекст в промпте (каждый лишний токен — деньги на каждом запросе); группировать запросы (batch), где можно. Правило: 80% запросов обычно простые — гнать их через флагман расточительно. Считай стоимость на 1000 запросов ещё до запуска.