Ana içeriğe atla

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LiteLLM, 100’den fazla LLM sağlayıcısı için birleşik bir Python API sunar. CometAPI yerel olarak desteklenir — istekleri CometAPI’nin model kataloğu üzerinden yönlendirmek için cometapi/ önekini kullanın.

​
Ön koşullar

1

LiteLLM'yi yükleyin

pip install litellm
2

API anahtarınızı ayarlayın

API anahtarını bir ortam değişkeni olarak ayarlayın (önerilir) veya satır içinde geçin:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Komut dosyalarınızda hassas kimlik bilgilerini sabit kodlamaktan kaçınmak için ortam değişkenlerini kullanın.
3

Bir completion çağrısı yapın

Modelleri belirtmek için cometapi/<model-name> biçimini kullanın. Anahtarı ortam değişkeni üzerinden veya açıkça geçebilirsiniz:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Async ve streaming çağrılar

Engellemeyen, gerçek zamanlı yanıtlar için stream=True ile acompletion kullanın:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Model biçimi: CometAPI modelleri cometapi/<model-name> önekini kullanır, örneğin cometapi/your-model-id. Kullanılabilir modeller için CometAPI Models sayfasına bakın.
  • Fine-tuning yanıtları: LiteLLM, temperature, max_tokens ve top_p destekler — bunları herhangi bir completion() çağrısına ekleyin, ör. completion(..., temperature=0.7).
  • Hata işleme: Geçersiz anahtar hatalarını veya ağ sorunlarını yakalamak için çağrıları try/except ile sarmalayın.
  • Güvenlik: API anahtarlarını asla sürüm kontrolüne kaydetmeyin. Ortam değişkenleri veya bir secrets manager kullanın.
  • Rate limits: Kullanımı CometAPI konsolunda izleyin.
  • Daha fazla dokümantasyon: LiteLLM dokümantasyonu — CometAPI hızlı başlangıç