كيفية خفض التكاليف دون قتل الجودة؟ إرجاع JSON {"tactics": [قائمة بأكثر من تقنيتين]، "why": "لفترة وجيزة"}.
تكلف مكالمات الذكاء الاصطناعي أموالاً لكل رمز مميز - في التدفق، هذا هو عنصر النفقات الرئيسي للمنتج. المخطط الساذج "نحن نقود كل شيء من خلال النموذج الأقوى" يدمر. أدوات الحفظ: توجيه المهام البسيطة إلى نموذج رخيص/سريع، وحفظ الرائد للمهام المعقدة (التوجيه)؛ تخزين الاستجابات والمطالبات المكررة؛ تحديد الحد الأقصى للرموز بحيث لا ينتشر النموذج؛ قص السياق الإضافي في الموجه (كل رمز إضافي هو أموال لكل طلب)؛ طلبات المجموعة (دفعة) حيثما أمكن ذلك. القاعدة: 80% من الطلبات عادة ما تكون بسيطة - وإرسالها عبر الرائد يعد إهدارًا للوقت. احسب التكلفة لكل 1000 طلب قبل الإطلاق.