Перейти к основному содержанию

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LiteLLM предоставляет унифицированный Python API для 100+ провайдеров LLM. CometAPI поддерживается нативно — используйте префикс cometapi/, чтобы направлять запросы через каталог моделей CometAPI.

​
Предварительные требования

1

Установите LiteLLM

pip install litellm
2

Задайте API-ключ

Задайте API-ключ как переменную окружения (рекомендуется) или передайте его inline:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Используйте переменные окружения, чтобы не хардкодить конфиденциальные учетные данные в своих скриптах.
3

Выполните вызов completion

Используйте формат cometapi/<model-name> для указания моделей. Вы можете передать ключ через переменную окружения или явно:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Async и Streaming вызовы

Используйте acompletion с stream=True для неблокирующих ответов в реальном времени:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Формат модели: Модели CometAPI используют префикс cometapi/<model-name>, например cometapi/your-model-id. Доступные модели смотрите на странице Модели CometAPI.
  • Настройка ответов: LiteLLM поддерживает temperature, max_tokens и top_p — добавьте их в любой вызов completion(), например completion(..., temperature=0.7).
  • Обработка ошибок: Оборачивайте вызовы в try/except, чтобы перехватывать ошибки неверного ключа или проблемы сети.
  • Безопасность: Никогда не коммитьте API-ключи в систему контроля версий. Используйте переменные окружения или менеджер секретов.
  • Лимиты запросов: Отслеживайте использование в консоли CometAPI.
  • Больше документации: Документация LiteLLM — быстрый старт CometAPI