跳轉到主要內容

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo 是一個用於 prompt 評估、回歸測試與 AI 紅隊演練的框架。Promptfoo 包含一個 cometapi provider，可透過與 OpenAI 相容的端點呼叫 CometAPI。

​
先決條件

​
設定整合

1

設定你的 CometAPI API key

在執行評估之前先設定 COMETAPI_KEY：
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

選擇 provider 格式

Promptfoo 對 CometAPI 使用以下 provider ID 格式：
providers:
  - cometapi:<type>:<model>
請使用以下 provider 類型：
Type使用情境
chat聊天補全、vision 與多模態（Multimodal）prompt
completion文字 completion 模型
embedding文字嵌入評估
image影像生成評估
你也可以使用 cometapi:your-model-id 作為預設聊天模式。
3

執行 CLI 評估

以下指令會執行單一 prompt 的聊天評估：
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

建立 Promptfoo 設定檔

以下 promptfooconfig.yaml 會使用 CometAPI 模型評估相同的 prompt：
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
使用 Promptfoo 執行此設定檔：
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Provider 範例

請使用符合你想評估之模型行為的 provider 類型： 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
對於多模態測試，請保留 chat provider 類型，並透過 Promptfoo 測試變數傳遞影像變數。

​
疑難排解

請確認 COMETAPI_KEY 已在執行 promptfoo eval 的同一個 shell 工作階段中匯出。
對話式與多模態模型請使用 chat，嵌入模型請使用 embedding，影像生成模型請使用 image。
請將 your-model-id 替換為來自 CometAPI Models 頁面 的精確 model ID。

​
相關資源