Naar hoofdinhoud gaan
LiteLLM biedt een uniforme Python-API voor meer dan 100 LLM-providers. CometAPI wordt native ondersteund — gebruik het voorvoegsel cometapi/ om aanvragen via de modelcatalogus van CometAPI te routeren.

​
Vereisten

  • Python 3.6+
  • Een CometAPI-account met een actieve API-sleutel — haal die hier op
1

Installeer LiteLLM

pip install litellm
2

Stel je API-sleutel in

Stel de API-sleutel in als een omgevingsvariabele (aanbevolen) of geef deze inline door:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Gebruik omgevingsvariabelen om te voorkomen dat gevoelige inloggegevens hardcoded in je scripts staan.
3

Doe een completion-aanroep

Gebruik de notatie cometapi/<model-name> om modellen op te geven. Je kunt de sleutel via een omgevingsvariabele doorgeven of expliciet opgeven:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Async- en Streaming-aanroepen

Gebruik acompletion met stream=True voor niet-blokkerende, realtime responses:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Modelnotatie: CometAPI-modellen gebruiken het voorvoegsel cometapi/<model-name>, bijvoorbeeld cometapi/your-model-id. Bekijk de CometAPI Models-pagina voor beschikbare modellen.
  • Fine-tuning van responses: LiteLLM ondersteunt temperature, max_tokens en top_p — voeg deze toe aan elke completion()-aanroep, bijvoorbeeld completion(..., temperature=0.7).
  • Foutafhandeling: Plaats aanroepen in try/except om fouten door ongeldige sleutels of netwerkproblemen op te vangen.
  • Beveiliging: Commit API-sleutels nooit naar versiebeheer. Gebruik omgevingsvariabelen of een secrets manager.
  • Rate limits: Houd het gebruik in de gaten in de CometAPI-console.
  • Meer documentatie: LiteLLM-documentatie — CometAPI-snelstart