メインコンテンツへスキップ

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo は、プロンプト評価、回帰テスト、AI レッドチーミングのためのフレームワークです。Promptfoo には、OpenAI 互換エンドポイントを通じて CometAPI を呼び出す cometapi provider が含まれています。

​
前提条件

​
統合を設定する

1

CometAPI API キーを設定する

評価を実行する前に COMETAPI_KEY を設定します:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

provider 形式を選択する

Promptfoo は、CometAPI に対して次の provider ID 形式を使用します:
providers:
  - cometapi:<type>:<model>
次の provider type を使用します:
Type用途
chatチャット補完、vision、およびマルチモーダル（Multimodal）プロンプト
completionテキスト補完モデル
embeddingテキストエンベディング評価
image画像生成評価
デフォルトの chat モードには、cometapi:your-model-id も使用できます。
3

CLI 評価を実行する

次のコマンドは、1 つのプロンプトによる chat 評価を実行します:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Promptfoo 設定ファイルを作成する

次の promptfooconfig.yaml は、同じプロンプトを CometAPI モデルに対して評価します:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Promptfoo で設定ファイルを実行します:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Provider の例

評価したいモデルの挙動に一致する provider type を使用します: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
マルチモーダル（Multimodal）テストでは、chat provider type を維持し、画像変数を Promptfoo のテスト変数を通じて渡します。

​
トラブルシューティング

promptfoo eval を実行するのと同じシェルセッションで COMETAPI_KEY が export されていることを確認してください。
対話型およびマルチモーダルモデルには chat、エンベディングモデルには embedding、画像生成モデルには image を使用してください。
your-model-id を、CometAPI Models page にある正確な model ID に置き換えてください。

​
関連リソース