Hopp til hovedinnhold

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LiteLLM tilbyr et enhetlig Python-API for over 100 LLM-leverandører. CometAPI støttes innebygd — bruk prefikset cometapi/ for å rute forespørsler gjennom CometAPIs modellkatalog.

​
Forutsetninger

  • Python 3.6+
  • En CometAPI-konto med en aktiv API-nøkkel — skaff din her
1

Installer LiteLLM

pip install litellm
2

Sett API-nøkkelen din

Sett API-nøkkelen som en miljøvariabel (anbefalt) eller send den inn direkte:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Bruk miljøvariabler for å unngå å hardkode sensitive legitimasjonsopplysninger i skriptene dine.
3

Gjør et completion-kall

Bruk formatet cometapi/<model-name> for å angi modeller. Du kan sende nøkkelen via miljøvariabel eller eksplisitt:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Async- og Streaming-kall

Bruk acompletion med stream=True for ikke-blokkerende svar i sanntid:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Modellformat: CometAPI-modeller bruker prefikset cometapi/<model-name>, for eksempel cometapi/your-model-id. Se CometAPI Models-siden for tilgjengelige modeller.
  • Fine-tuning-svar: LiteLLM støtter temperature, max_tokens og top_p — legg dem til i et hvilket som helst completion()-kall, for eksempel completion(..., temperature=0.7).
  • Feilhåndtering: Pakk kall inn i try/except for å fange opp ugyldige nøkkelfeil eller nettverksproblemer.
  • Sikkerhet: Aldri commit API-nøkler til versjonskontroll. Bruk miljøvariabler eller en secrets manager.
  • Rate limits: Overvåk bruk i CometAPI-konsollen.
  • Mer dokumentasjon: LiteLLM-dokumentasjon — CometAPI hurtigstart