Skip to main content
LiteLLM offre un’API Python unificata per oltre 100 provider LLM. CometAPI è supportato nativamente: usa il prefisso cometapi/ per instradare le richieste attraverso il catalogo modelli di CometAPI.

Prerequisiti

1

Installa LiteLLM

2

Imposta la tua chiave API

Imposta la chiave API come variabile d’ambiente (consigliato) oppure passala inline:
Usa le variabili d’ambiente per evitare di inserire credenziali sensibili in modo hardcoded nei tuoi script.
3

Effettua una chiamata di completion

Usa il formato cometapi/<model-name> per specificare i modelli. Puoi passare la chiave tramite variabile d’ambiente o esplicitamente:
4

Chiamate async e Streaming

Usa acompletion con stream=True per risposte non bloccanti e in tempo reale:
  • Formato del modello: i modelli CometAPI usano il prefisso cometapi/<model-name>, ad esempio cometapi/your-model-id. Consulta la pagina dei modelli CometAPI per i modelli disponibili.
  • Risposte Fine-tuning: LiteLLM supporta temperature, max_tokens e top_p — aggiungili a qualsiasi chiamata completion(), ad esempio completion(..., temperature=0.7).
  • Gestione degli errori: racchiudi le chiamate in try/except per intercettare errori di chiave non valida o problemi di rete.
  • Sicurezza: non salvare mai le chiavi API nel controllo di versione. Usa variabili d’ambiente o un gestore di segreti.
  • Limiti di velocità: monitora l’utilizzo nella console CometAPI.
  • Altra documentazione: documentazione di LiteLLMguida rapida di CometAPI