Skip to main content
Promptfoo 是一个用于 Prompt 评估、回归测试和 AI 红队测试的框架。Promptfoo 包含一个 cometapi provider,可通过与 OpenAI 兼容的端点调用 CometAPI。

前提条件

配置集成

1

设置你的 CometAPI API key

在运行评估之前设置 COMETAPI_KEY
2

选择 provider 格式

Promptfoo 对 CometAPI 使用以下 provider ID 格式:
使用以下 provider 类型:你也可以使用 cometapi:your-model-id 作为默认聊天模式。
3

运行 CLI 评估

以下命令会运行一次单 Prompt 的聊天评估:
4

创建 Promptfoo 配置文件

以下 promptfooconfig.yaml 会使用 CometAPI 模型评估相同的 Prompt:
使用 Promptfoo 运行该配置文件:

Provider 示例

使用与你想要评估的模型行为相匹配的 provider 类型:
对于多模态测试,请保留 chat provider 类型,并通过 Promptfoo 测试变量传递图像变量。

故障排查

确认 COMETAPI_KEY 已在运行 promptfoo eval 的同一个 shell 会话中导出。
对话式和多模态模型使用 chat,嵌入模型使用 embedding,图像生成模型使用 image
your-model-id 替换为来自 CometAPI Models 页面 的准确 model ID。

相关资源