cometapi/ per instradare le richieste attraverso il catalogo modelli di CometAPI.
Prerequisiti
- Python 3.6+
- Un account CometAPI con una chiave API attiva — ottieni la tua qui
1
Installa LiteLLM
2
Imposta la tua chiave API
Imposta la chiave API come variabile d’ambiente (consigliato) oppure passala inline:
Usa le variabili d’ambiente per evitare di inserire credenziali sensibili in modo hardcoded nei tuoi script.
3
Effettua una chiamata di completion
Usa il formato
cometapi/<model-name> per specificare i modelli. Puoi passare la chiave tramite variabile d’ambiente o esplicitamente:4
Chiamate async e Streaming
Usa
acompletion con stream=True per risposte non bloccanti e in tempo reale:Suggerimenti e risoluzione dei problemi
Suggerimenti e risoluzione dei problemi
- Formato del modello: i modelli CometAPI usano il prefisso
cometapi/<model-name>, ad esempiocometapi/your-model-id. Consulta la pagina dei modelli CometAPI per i modelli disponibili. - Risposte Fine-tuning: LiteLLM supporta
temperature,max_tokensetop_p— aggiungili a qualsiasi chiamatacompletion(), ad esempiocompletion(..., temperature=0.7). - Gestione degli errori: racchiudi le chiamate in
try/exceptper intercettare errori di chiave non valida o problemi di rete. - Sicurezza: non salvare mai le chiavi API nel controllo di versione. Usa variabili d’ambiente o un gestore di segreti.
- Limiti di velocità: monitora l’utilizzo nella console CometAPI.
- Altra documentazione: documentazione di LiteLLM — guida rapida di CometAPI