LiteLLM - CometAPI Documentation

LiteLLM fournit une API Python unifiée pour plus de 100 fournisseurs de LLM. CometAPI est pris en charge nativement — utilisez le préfixe cometapi/ pour acheminer les requêtes via le catalogue de modèles de CometAPI.

Prérequis

Python 3.6+
Un compte CometAPI avec une clé API active — obtenez la vôtre ici

Install LiteLLM

pip install litellm

Set your API key

Définissez la clé API comme variable d’environnement (recommandé) ou transmettez-la inline :

import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"

Utilisez des variables d’environnement pour éviter d’écrire en dur des identifiants sensibles dans vos scripts.

Make a completion call

Utilisez le format cometapi/<model-name> pour spécifier les modèles. Vous pouvez transmettre la clé via une variable d’environnement ou explicitement :

messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)

Async and streaming calls

Utilisez acompletion avec stream=True pour des réponses non bloquantes en temps réel :

from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())

Tips and troubleshooting

Format du modèle : les modèles CometAPI utilisent le préfixe cometapi/<model-name>, par ex. cometapi/your-model-id. Consultez la page des modèles CometAPI pour voir les modèles disponibles.
Réglage fin des réponses : LiteLLM prend en charge temperature, max_tokens et top_p — ajoutez-les à n’importe quel appel completion(), par ex. completion(..., temperature=0.7).
Gestion des erreurs : encapsulez les appels dans try/except pour intercepter les erreurs de clé invalide ou les problèmes réseau.
Sécurité : ne versionnez jamais les clés API dans votre gestionnaire de versions. Utilisez des variables d’environnement ou un gestionnaire de secrets.
Limites de débit : surveillez l’utilisation dans la console CometAPI.
Plus de documentation : documentation LiteLLM — démarrage rapide CometAPI

Documentation Index

​Prérequis

Prérequis