Cosa è importante capire quando si chiama un'API? Restituisce JSON {"essentials": [elenco di 2+ cose], "why": "breve"}.
La chiamata di un modello dal codice è una normale richiesta HTTP all'API del provider: invii messaggi e parametri e ricevi una risposta. Ciò che è importante capire: separazione dei ruoli - il messaggio di sistema imposta il comportamento, utente - la richiesta dell'utente; parametri di generazione: temperatura (0 - stabile e deterministico, più alto - più creativo), max_tokens (lunghezza e limite di costo); la risposta deve essere analizzata e convalidata e non fidata ciecamente; La chiave API è segreta, solo sul server. Regola: dal codice controlli il modello attraverso messaggi più parametri e validi sempre la risposta; I servizi della chat (memoria, formattazione) non verranno visualizzati da soli: li imposti.