メインコンテンツへスキップ
LiteLLM は、100 以上の LLM プロバイダー向けに統一された Python API を提供します。CometAPI はネイティブにサポートされており、cometapi/ プレフィックスを使用してリクエストを CometAPI のモデルカタログ経由でルーティングできます。

​
前提条件

1

LiteLLM をインストール

pip install litellm
2

API キーを設定

API キーを環境変数として設定するか（推奨）、インラインで渡します:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
スクリプト内に機密性の高い認証情報をハードコードしないために、環境変数を使用してください。
3

補完呼び出しを実行

モデルを指定するには、cometapi/<model-name> 形式を使用します。キーは環境変数経由でも明示的にも渡せます:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

非同期およびストリーミング呼び出し

ノンブロッキングでリアルタイムな応答には、stream=True とともに acompletion を使用します:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • モデル形式: CometAPI のモデルは cometapi/<model-name> プレフィックスを使用します。例: cometapi/your-model-id。利用可能なモデルは CometAPI Models ページ を参照してください。
  • ファインチューニング（Fine-tuning）応答: LiteLLM は temperature、max_tokens、top_p をサポートしています。これらは任意の completion() 呼び出しに追加できます。例: completion(..., temperature=0.7)。
  • エラーハンドリング: 無効なキーのエラーやネットワークの問題を捕捉するため、呼び出しは try/except でラップしてください。
  • セキュリティ: API キーをバージョン管理にコミットしないでください。環境変数またはシークレットマネージャーを使用してください。
  • レート制限: 使用状況は CometAPI console で監視してください。
  • 詳細ドキュメント: LiteLLM documentation — CometAPI クイックスタート