Sử dụng Promptfoo với CometAPI

Promptfoo là một framework dành cho việc đánh giá prompt, kiểm thử hồi quy và red teaming cho AI. Promptfoo bao gồm một provider cometapi gọi CometAPI thông qua các endpoint tương thích OpenAI.

Điều kiện tiên quyết

Node.js 18+
Promptfoo được cài đặt cục bộ hoặc chạy qua npx
Tài khoản CometAPI có API key đang hoạt động — lấy tại dashboard
Một model ID từ trang Models của CometAPI

Cấu hình tích hợp

Thiết lập API key CometAPI của bạn

Thiết lập COMETAPI_KEY trước khi bạn chạy các lượt đánh giá:

read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY

Chọn định dạng provider

Promptfoo sử dụng định dạng provider ID sau cho CometAPI:

providers:
  - cometapi:<type>:<model>

Sử dụng các loại provider sau:

Type	Trường hợp sử dụng
`chat`	Chat completions, thị giác và prompt multimodal
`completion`	Các model hoàn tất văn bản
`embedding`	Đánh giá text embedding
`image`	Đánh giá tạo ảnh

Bạn cũng có thể sử dụng cometapi:your-model-id cho chế độ chat mặc định.

Chạy đánh giá bằng CLI

Lệnh sau chạy một lượt đánh giá chat với một prompt:

npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id

Tạo tệp cấu hình Promptfoo

promptfooconfig.yaml sau đánh giá cùng một prompt với một model CometAPI:

prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration

Chạy tệp cấu hình bằng Promptfoo:

npx promptfoo@latest eval -c promptfooconfig.yaml

Ví dụ về provider

Sử dụng loại provider phù hợp với hành vi model mà bạn muốn đánh giá:

providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id

Đối với các bài kiểm thử multimodal, hãy giữ loại provider là chat và truyền các biến hình ảnh thông qua biến kiểm thử của Promptfoo.

Khắc phục sự cố

Promptfoo không thể tìm thấy API key

Xác nhận rằng COMETAPI_KEY được export trong cùng phiên shell chạy promptfoo eval.

Loại provider không khớp với model

Sử dụng chat cho các model hội thoại và multimodal, embedding cho các model embedding, và image cho các model tạo ảnh.

Model ID không hoạt động

Thay your-model-id bằng model ID chính xác từ trang Models của CometAPI.

Tài nguyên liên quan

Kết nối Langfuse với CometAPI

Sử dụng AI SDK với CometAPI

Tổng quan

Tác nhân lập trình AI

Tác nhân AI

Ứng dụng chat AI

Dịch thuật và ngôn ngữ

Nền tảng tự động hóa

Quan sát và đánh giá

Framework AI

Điều kiện tiên quyết

Cấu hình tích hợp

Ví dụ về provider

Khắc phục sự cố

Tài nguyên liên quan

​Điều kiện tiên quyết

​Cấu hình tích hợp

​Ví dụ về provider

​Khắc phục sự cố

​Tài nguyên liên quan

Điều kiện tiên quyết

Cấu hình tích hợp

Ví dụ về provider

Khắc phục sự cố

Tài nguyên liên quan