Використання Promptfoo з CometAPI

Promptfoo — це фреймворк для оцінювання prompt’ів, регресійного тестування та red teaming для AI. Promptfoo містить provider cometapi, який викликає CometAPI через OpenAI-сумісні endpoint’и.

Передумови

Node.js 18+
Promptfoo, встановлений локально, або запуск через npx
Обліковий запис CometAPI з активним API key — отримайте його в dashboard
model ID зі сторінки моделей CometAPI

Налаштування інтеграції

Установіть свій CometAPI API key

Установіть COMETAPI_KEY перед запуском оцінювань:

read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY

Виберіть формат provider

Promptfoo використовує такий формат provider ID для CometAPI:

providers:
  - cometapi:<type>:<model>

Використовуйте такі типи provider:

Type	Випадок використання
`chat`	Chat completions, vision і multimodal prompt’и
`completion`	Моделі для завершення тексту
`embedding`	Оцінювання text embedding
`image`	Оцінювання генерації зображень

Ви також можете використовувати cometapi:your-model-id для стандартного режиму chat.

Запустіть оцінювання через CLI

Наступна команда запускає chat-оцінювання з одним prompt’ом:

npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id

Створіть файл конфігурації Promptfoo

Наведений нижче promptfooconfig.yaml оцінює той самий prompt для моделі CometAPI:

prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration

Запустіть файл конфігурації за допомогою Promptfoo:

npx promptfoo@latest eval -c promptfooconfig.yaml

Приклади provider

Використовуйте тип provider, який відповідає поведінці моделі, яку ви хочете оцінити:

providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id

Для multimodal тестів залишайте тип provider chat і передавайте змінні зображення через тестові змінні Promptfoo.

Усунення проблем

Promptfoo не може знайти API key

Переконайтеся, що COMETAPI_KEY експортовано в тій самій сесії shell, у якій запускається promptfoo eval.

Тип provider не відповідає моделі

Використовуйте chat для розмовних і multimodal моделей, embedding для embedding-моделей і image для моделей генерації зображень.

model ID не працює

Замініть your-model-id на точний model ID зі сторінки моделей CometAPI.

Пов’язані ресурси

Підключення Langfuse до CometAPI

Попередня

Використання AI SDK з CometAPI

Наступна

Огляд

AI агенти для програмування

AI-агенти

AI чат-клієнти

Переклад і мова

Платформи автоматизації

Спостережуваність та оцінювання

AI фреймворки

Використання Promptfoo з CometAPI

Передумови

Налаштування інтеграції

Приклади provider

Усунення проблем

Пов’язані ресурси

​Передумови

​Налаштування інтеграції

​Приклади provider

​Усунення проблем

​Пов’язані ресурси

Передумови

Налаштування інтеграції

Приклади provider

Усунення проблем

Пов’язані ресурси