LiteLLM - CometAPI Documentation

LiteLLM は、100 以上の LLM プロバイダー向けに統一された Python API を提供します。CometAPI はネイティブでサポートされており、cometapi/ プレフィックスを使用してリクエストを CometAPI のモデルカタログ経由でルーティングできます。

前提条件

Python 3.6+
有効な API キーを持つ CometAPI アカウント — こちらから取得

LiteLLM をインストール

pip install litellm

API キーを設定

API キーを環境変数として設定することを推奨します。またはインラインで渡すこともできます:

import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"

スクリプト内に機密性の高い認証情報をハードコードしないように、環境変数を使用してください。

completion 呼び出しを実行

モデルを指定するには cometapi/<model-name> 形式を使用します。キーは環境変数で渡すか、明示的に指定できます:

messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)

非同期およびストリーミング呼び出し

ノンブロッキングでリアルタイムな応答には、stream=True とともに acompletion を使用します:

from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())

ヒントとトラブルシューティング

モデル形式: CometAPI モデルでは cometapi/<model-name> プレフィックスを使用します。例: cometapi/your-model-id。利用可能なモデルについては CometAPI Models ページを参照してください。
ファインチューニング（Fine-tuning）応答: LiteLLM は temperature、max_tokens、top_p をサポートしています。これらは任意の completion() 呼び出しに追加できます。例: completion(..., temperature=0.7)。
エラーハンドリング: 無効なキーエラーやネットワークの問題を捕捉するため、呼び出しは try/except でラップしてください。
セキュリティ: API キーをバージョン管理にコミットしないでください。環境変数またはシークレットマネージャーを使用してください。
レート制限: 使用状況は CometAPI console で監視してください。
詳細なドキュメント: LiteLLM documentation — CometAPI quick start

Documentation Index

​前提条件

前提条件