गुणवत्ता को ख़त्म किए बिना लागत कैसे कम करें? रिटर्न JSON {"tactics": [2+ तकनीकों की सूची], "why": "संक्षेप में"}।
एआई प्रत्येक टोकन के लिए लागत राशि कहता है—एक स्ट्रीम पर, यह उत्पाद का मुख्य व्यय मद है। भोली-भाली योजना "हम सब कुछ सबसे शक्तिशाली मॉडल के माध्यम से चलाते हैं" बर्बाद हो जाती है। बचत लीवर: सरल कार्यों को सस्ते/तेज मॉडल पर निर्देशित करें, और जटिल कार्यों (रूटिंग) के लिए फ्लैगशिप को बचाएं; डुप्लिकेट प्रतिक्रियाओं और संकेतों को कैश करें; max_tokens को सीमित करें ताकि मॉडल फैल न जाए; प्रॉम्प्ट में अतिरिक्त संदर्भ काटें (प्रत्येक अतिरिक्त टोकन प्रत्येक अनुरोध के लिए पैसा है); जहां संभव हो समूह अनुरोध (बैच)। नियम: 80% अनुरोध आमतौर पर सरल होते हैं - उन्हें फ्लैगशिप के माध्यम से भेजना बेकार है। लॉन्च से पहले प्रति 1000 अनुरोधों की लागत की गणना करें।