Перейти до основного вмісту

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo — це фреймворк для оцінювання prompt, регресійного тестування та AI red teaming. Promptfoo містить провайдер cometapi, який викликає CometAPI через OpenAI-сумісні endpoints.

​
Передумови

​
Налаштування інтеграції

1

Установіть свій CometAPI API key

Установіть COMETAPI_KEY перед запуском оцінювань:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Виберіть формат провайдера

Promptfoo використовує такий формат provider ID для CometAPI:
providers:
  - cometapi:<type>:<model>
Використовуйте такі типи провайдера:
TypeUse case
chatChat completions, vision і multimodal prompts
completionМоделі завершення тексту
embeddingОцінювання text embedding
imageОцінювання генерації зображень
Ви також можете використовувати cometapi:your-model-id для режиму chat за замовчуванням.
3

Запустіть CLI-оцінювання

Наведена нижче команда запускає chat-оцінювання з одним prompt:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Створіть файл конфігурації Promptfoo

Наведений нижче файл promptfooconfig.yaml оцінює той самий prompt на моделі CometAPI:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Запустіть файл конфігурації за допомогою Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Приклади провайдера

Використовуйте тип провайдера, який відповідає поведінці моделі, яку ви хочете оцінити: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Для multimodal тестів залишайте тип провайдера chat і передавайте змінні зображення через тестові змінні Promptfoo.

​
Усунення проблем

Переконайтеся, що COMETAPI_KEY експортовано в тій самій сесії shell, у якій запускається promptfoo eval.
Використовуйте chat для розмовних і multimodal моделей, embedding для embedding моделей, а image — для моделей генерації зображень.
Замініть your-model-id на точний model ID зі сторінки CometAPI Models page.

​
Пов’язані ресурси