cometapi provider,可通过与 OpenAI 兼容的端点调用 CometAPI。
前提条件
- Node.js 18+
- 已在本地安装 Promptfoo,或通过
npx运行 - 一个拥有有效 API key 的 CometAPI 账户 —— 在控制台中获取
- 来自 CometAPI Models 页面 的 model ID
配置集成
1
设置你的 CometAPI API key
在运行评估之前设置
COMETAPI_KEY:2
选择 provider 格式
Promptfoo 对 CometAPI 使用以下 provider ID 格式:使用以下 provider 类型:
你也可以使用
cometapi:your-model-id 作为默认聊天模式。3
运行 CLI 评估
以下命令会运行一次单 Prompt 的聊天评估:
4
创建 Promptfoo 配置文件
以下 使用 Promptfoo 运行该配置文件:
promptfooconfig.yaml 会使用 CometAPI 模型评估相同的 Prompt:Provider 示例
使用与你想要评估的模型行为相匹配的 provider 类型:chat provider 类型,并通过 Promptfoo 测试变量传递图像变量。
故障排查
Promptfoo 找不到 API key
Promptfoo 找不到 API key
确认
COMETAPI_KEY 已在运行 promptfoo eval 的同一个 shell 会话中导出。provider 类型与模型不匹配
provider 类型与模型不匹配
对话式和多模态模型使用
chat,嵌入模型使用 embedding,图像生成模型使用 image。model ID 无法使用
model ID 无法使用
将
your-model-id 替换为来自 CometAPI Models 页面 的准确 model ID。