跳转到主要内容

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LiteLLM 为 100 多个 LLM 提供商提供统一的 Python API。CometAPI 原生支持 —— 使用 cometapi/ 前缀即可通过 CometAPI 的模型目录路由请求。

​
前置条件

  • Python 3.6+
  • 一个拥有有效 API key 的 CometAPI 账户 —— 点此获取
1

安装 LiteLLM

pip install litellm
2

设置你的 API key

将 API key 设置为环境变量（推荐），或以内联方式传递：
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
使用环境变量可避免在脚本中硬编码敏感凭证。
3

发起一次补全调用

使用 cometapi/<model-name> 格式指定模型。你可以通过环境变量传递 key，或显式传递：
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

异步与流式调用

使用带有 stream=True 的 acompletion 实现非阻塞、实时响应：
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • 模型格式：CometAPI 模型使用前缀 cometapi/<model-name>，例如 cometapi/your-model-id。可用模型请参阅 CometAPI Models 页面。
  • 微调（Fine-tuning）响应：LiteLLM 支持 temperature、max_tokens 和 top_p —— 可将它们添加到任意 completion() 调用中，例如 completion(..., temperature=0.7)。
  • 错误处理：使用 try/except 包裹调用，以捕获无效 key 错误或网络问题。
  • 安全性：切勿将 API key 提交到版本控制中。请使用环境变量或密钥管理器。
  • 速率限制：在 CometAPI 控制台中监控用量。
  • 更多文档：LiteLLM 文档 —— CometAPI 快速开始