Перейти к основному содержанию

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo — это фреймворк для оценки prompt’ов, регрессионного тестирования и AI red teaming. Promptfoo включает провайдер cometapi, который вызывает CometAPI через OpenAI-совместимые endpoints.

​
Предварительные требования

​
Настройка интеграции

1

Установите API-ключ CometAPI

Установите COMETAPI_KEY перед запуском оценок:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Выберите формат провайдера

Promptfoo использует следующий формат ID провайдера для CometAPI:
providers:
  - cometapi:<type>:<model>
Используйте следующие типы провайдеров:
TypeСценарий использования
chatChat completions, vision и multimodal prompt’ы
completionМодели завершения текста
embeddingОценка text embedding
imageОценка генерации изображений
Вы также можете использовать cometapi:your-model-id для режима чата по умолчанию.
3

Запустите оценку через CLI

Следующая команда запускает оценку чата с одним prompt’ом:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Создайте файл конфигурации Promptfoo

Следующий файл promptfooconfig.yaml оценивает тот же prompt на модели CometAPI:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Запустите файл конфигурации с помощью Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Примеры провайдеров

Используйте тип провайдера, который соответствует поведению модели, которое вы хотите оценить: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Для multimodal тестов оставьте тип провайдера chat и передавайте переменные изображений через тестовые переменные Promptfoo.

​
Устранение неполадок

Убедитесь, что COMETAPI_KEY экспортирован в той же сессии shell, в которой запускается promptfoo eval.
Используйте chat для диалоговых и multimodal моделей, embedding для embedding-моделей и image для моделей генерации изображений.
Замените your-model-id на точный model ID со страницы CometAPI Models.

​
Связанные ресурсы