Vai al contenuto principale
LiteLLM fornisce un’API Python unificata per oltre 100 provider LLM. CometAPI è supportato nativamente: usa il prefisso cometapi/ per instradare le richieste attraverso il catalogo modelli di CometAPI.

​
Prerequisiti

1

Installa LiteLLM

pip install litellm
2

Imposta la tua chiave API

Imposta la chiave API come variabile d’ambiente (consigliato) oppure passala inline:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Usa le variabili d’ambiente per evitare di inserire credenziali sensibili direttamente nei tuoi script.
3

Effettua una chiamata completion

Usa il formato cometapi/<model-name> per specificare i modelli. Puoi passare la chiave tramite variabile d’ambiente oppure esplicitamente:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Chiamate asincrone e Streaming

Usa acompletion con stream=True per risposte in tempo reale e non bloccanti:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Formato del modello: i modelli CometAPI usano il prefisso cometapi/<model-name>, ad es. cometapi/your-model-id. Consulta la pagina dei modelli CometAPI per i modelli disponibili.
  • Risposte Fine-tuning: LiteLLM supporta temperature, max_tokens e top_p: aggiungili a qualsiasi chiamata completion(), ad es. completion(..., temperature=0.7).
  • Gestione degli errori: racchiudi le chiamate in try/except per intercettare errori dovuti a chiavi non valide o problemi di rete.
  • Sicurezza: non salvare mai le chiavi API nel controllo di versione. Usa variabili d’ambiente o un gestore di segreti.
  • Limiti di velocità: monitora l’utilizzo nella console CometAPI.
  • Altra documentazione: documentazione LiteLLM — guida rapida di CometAPI