LlamaIndex - CometAPI Documentation

LlamaIndex は、CometAPI との主要な統合機能として CometLLM クラスを提供しています。これを使用すると、CometAPI のカタログ内の任意のモデルで RAG パイプライン、エージェント、LLM チェーンを動作させることができます。

前提条件

Python 3.8+
有効な API キーを持つ CometAPI アカウント — こちらから取得

LlamaIndex の CometAPI 統合をインストールする

pip install llama-index-llms-cometapi llama-index

API キーを設定する

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")

環境変数を使用する方が、スクリプトに認証情報をハードコードするより安全です。

モデルを初期化して補完呼び出しを行う

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)

ストリーミングを有効にする

リアルタイムのチャンク出力には stream_chat または stream_complete を使用します:

# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")

ヒントとトラブルシューティング

モデル: 利用可能なすべてのオプションは CometAPI Models ページを参照してください。
他のモデルを使用する: 別の current model ID で初期化します。例: CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024)。
ファインチューニング（Fine-tuning）: temperature と max_tokens を CometLLM(...) に直接渡します。
エラーハンドリング: キーのエラーやネットワークの問題を捕捉するために、呼び出しを try/except で囲みます。
セキュリティ: API キーをバージョン管理にコミットしないでください。環境変数を使用してください。
その他のドキュメント: LlamaIndex documentation — CometAPI クイックスタート — Colab example

Documentation Index

​前提条件

前提条件