cometapi provider が含まれています。
前提条件
- Node.js 18+
- Promptfoo がローカルにインストールされていること、または
npxで実行できること - 有効な API キーを持つ CometAPI アカウント — ダッシュボードで取得
- CometAPI Models page の model ID
統合を構成する
1
CometAPI API キーを設定する
評価を実行する前に
COMETAPI_KEY を設定します:2
provider 形式を選択する
Promptfoo では、CometAPI に対して次の provider ID 形式を使用します:次の provider type を使用します:
デフォルトの chat モードには、
cometapi:your-model-id を使用することもできます。3
CLI 評価を実行する
次のコマンドは、1 つのプロンプトによる chat 評価を実行します:
4
Promptfoo 設定ファイルを作成する
次の Promptfoo でこの設定ファイルを実行します:
promptfooconfig.yaml は、同じプロンプトを CometAPI モデルに対して評価します:provider の例
評価したいモデルの挙動に合った provider type を使用します:chat provider type を維持し、画像変数を Promptfoo のテスト変数として渡します。
トラブルシューティング
Promptfoo が API キーを見つけられない
Promptfoo が API キーを見つけられない
promptfoo eval を実行しているものと同じシェルセッションで COMETAPI_KEY が export されていることを確認してください。provider type がモデルと一致しない
provider type がモデルと一致しない
会話型モデルおよびマルチモーダルモデルには
chat、エンベディングモデルには embedding、画像生成モデルには image を使用してください。model ID が失敗する
model ID が失敗する
your-model-id を、CometAPI Models page にある正確な model ID に置き換えてください。