cometapi, который вызывает CometAPI через OpenAI-совместимые endpoints.
Предварительные требования
- Node.js 18+
- Promptfoo, установленный локально, или запуск через
npx - Учетная запись CometAPI с активным API key — получите его в панели управления
- model ID со страницы моделей CometAPI
Настройка интеграции
1
Установите ваш CometAPI API key
Установите
COMETAPI_KEY перед запуском оценок:2
Выберите формат provider
Promptfoo использует следующий формат provider ID для CometAPI:Используйте следующие типы provider:
Вы также можете использовать
cometapi:your-model-id для режима chat по умолчанию.3
Запустите оценку через CLI
Следующая команда запускает оценку chat с одним prompt:
4
Создайте файл конфигурации Promptfoo
Следующий файл Запустите файл конфигурации с помощью Promptfoo:
promptfooconfig.yaml оценивает тот же prompt на модели CometAPI:Примеры provider
Используйте тип provider, соответствующий поведению модели, которое вы хотите оценить:chat и передавайте переменные изображения через тестовые переменные Promptfoo.
Устранение неполадок
Promptfoo не может найти API key
Promptfoo не может найти API key
Убедитесь, что
COMETAPI_KEY экспортирован в той же сессии shell, в которой выполняется promptfoo eval.Тип provider не соответствует модели
Тип provider не соответствует модели
Используйте
chat для разговорных и multimodal-моделей, embedding для embedding-моделей и image для моделей генерации изображений.model ID не работает
model ID не работает
Замените
your-model-id на точный model ID со страницы моделей CometAPI.