Kaliteyi öldürmeden maliyetler nasıl azaltılır? JSON'u döndürün {"tactics": [2'den fazla tekniğin listesi], "why": "kısaca"}.
Yapay zeka, her bir token için maliyet bedeli talep ediyor; bir akışta bu, ürünün ana gider kalemidir. "Her şeyi en güçlü modelden geçiririz" şeklindeki naif plan yıkılıyor. Tasarruf araçları: basit görevleri ucuz/hızlı bir modele yönlendirin ve amiral gemisini karmaşık olanlar için saklayın (yönlendirme); yinelenen yanıtları ve istemleri önbelleğe alın; modelin yayılmaması için max_tokens'ı sınırlayın; istemdeki ekstra bağlamı kesin (her ekstra jeton, her istek için paradır); Mümkün olduğunda grup isteklerini (toplu) Kural: İsteklerin %80'i genellikle basittir; bunları amiral gemisi aracılığıyla göndermek israftır. Lansmandan önce 1000 istek başına maliyeti hesaplayın.