Використання LiteLLM з CometAPI

LiteLLM надає уніфікований Python API для 100+ постачальників LLM. CometAPI підтримується нативно — використовуйте префікс cometapi/, щоб маршрутизувати запити через каталог моделей CometAPI.

Передумови

Python 3.6+
Обліковий запис CometAPI з активним API key — отримайте його тут

Встановіть LiteLLM

pip install litellm

Установіть свій API key

Установіть API key як змінну середовища (рекомендовано) або передайте його inline:

import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"

Використовуйте змінні середовища, щоб уникнути жорсткого кодування конфіденційних облікових даних у ваших скриптах.

Зробіть виклик completion

Використовуйте формат cometapi/<model-name> для вказання моделей. Ви можете передати ключ через змінну середовища або явно:

messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)

Асинхронні та Streaming виклики

Використовуйте acompletion з stream=True для неблокувальних відповідей у реальному часі:

from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())

Поради та усунення несправностей

Формат моделі: Моделі CometAPI використовують префікс cometapi/<model-name>, наприклад cometapi/your-model-id. Перегляньте сторінку моделей CometAPI, щоб побачити доступні моделі.
Відповіді Fine-tuning: LiteLLM підтримує temperature, max_tokens і top_p — додайте їх до будь-якого виклику completion(), наприклад completion(..., temperature=0.7).
Обробка помилок: Обгорніть виклики в try/except, щоб перехоплювати помилки недійсного ключа або проблеми з мережею.
Безпека: Ніколи не комітьте API key у систему контролю версій. Використовуйте змінні середовища або менеджер секретів.
Ліміти швидкості: Відстежуйте використання в консолі CometAPI.
Більше документації: документація LiteLLM — швидкий старт CometAPI