Przejdź do głównej treści

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LiteLLM zapewnia ujednolicone API Python dla ponad 100 dostawców LLM. CometAPI jest obsługiwane natywnie — użyj prefiksu cometapi/, aby kierować żądania przez katalog modeli CometAPI.

​
Wymagania wstępne

1

Zainstaluj LiteLLM

pip install litellm
2

Ustaw klucz API

Ustaw klucz API jako zmienną środowiskową (zalecane) albo przekaż go bezpośrednio:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Używaj zmiennych środowiskowych, aby uniknąć zapisywania poufnych danych uwierzytelniających na sztywno w skryptach.
3

Wykonaj wywołanie completion

Użyj formatu cometapi/<model-name>, aby określić modele. Klucz możesz przekazać przez zmienną środowiskową albo jawnie:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Wywołania async i Streaming

Użyj acompletion z stream=True, aby uzyskać nieblokujące odpowiedzi w czasie rzeczywistym:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Format modelu: Modele CometAPI używają prefiksu cometapi/<model-name>, np. cometapi/your-model-id. Dostępne modele znajdziesz na stronie Modele CometAPI.
  • Fine-tuning odpowiedzi: LiteLLM obsługuje temperature, max_tokens i top_p — dodaj je do dowolnego wywołania completion(), np. completion(..., temperature=0.7).
  • Obsługa błędów: Opakuj wywołania w try/except, aby przechwytywać błędy nieprawidłowego klucza lub problemy z siecią.
  • Bezpieczeństwo: Nigdy nie zapisuj kluczy API w systemie kontroli wersji. Używaj zmiennych środowiskowych albo menedżera sekretów.
  • Limity szybkości: Monitoruj użycie w konsoli CometAPI.
  • Więcej dokumentacji: Dokumentacja LiteLLM — szybki start CometAPI