Zum Hauptinhalt springen
LiteLLM bietet eine einheitliche Python-API für mehr als 100 LLM-Anbieter. CometAPI wird nativ unterstützt — verwenden Sie das Präfix cometapi/, um Anfragen über den Modellkatalog von CometAPI weiterzuleiten.

​
Voraussetzungen

  • Python 3.6+
  • Ein CometAPI-Konto mit einem aktiven API-Schlüssel — hier erhalten
1

LiteLLM installieren

pip install litellm
2

Ihren API-Schlüssel festlegen

Legen Sie den API-Schlüssel als Umgebungsvariable fest (empfohlen) oder übergeben Sie ihn inline:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Verwenden Sie Umgebungsvariablen, um zu vermeiden, dass sensible Zugangsdaten fest im Skript hinterlegt werden.
3

Einen completion-Aufruf ausführen

Verwenden Sie das Format cometapi/<model-name>, um Modelle anzugeben. Sie können den Schlüssel über eine Umgebungsvariable oder explizit übergeben:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Asynchrone und Streaming-Aufrufe

Verwenden Sie acompletion mit stream=True für nicht blockierende Echtzeitantworten:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Modellformat: CometAPI-Modelle verwenden das Präfix cometapi/<model-name>, z. B. cometapi/your-model-id. Verfügbare Modelle finden Sie auf der CometAPI Models-Seite.
  • Fine-tuning von Antworten: LiteLLM unterstützt temperature, max_tokens und top_p — fügen Sie diese jedem completion()-Aufruf hinzu, z. B. completion(..., temperature=0.7).
  • Fehlerbehandlung: Umschließen Sie Aufrufe mit try/except, um Fehler durch ungültige Schlüssel oder Netzwerkprobleme abzufangen.
  • Sicherheit: Committen Sie API-Schlüssel niemals in die Versionsverwaltung. Verwenden Sie Umgebungsvariablen oder einen Secrets-Manager.
  • Rate Limits: Überwachen Sie die Nutzung in der CometAPI-Konsole.
  • Weitere Dokumentation: LiteLLM-Dokumentation — CometAPI-Schnellstart