Skip to main content
Langfuse предоставляет observability для LLM, управление prompt, playground-среды и рабочие процессы оценки. Настройте LLM Connection в Langfuse с CometAPI, если хотите, чтобы Langfuse Playground или оценки LLM-as-a-Judge вызывали модели CometAPI.

​
Предварительные требования

​
Настройка интеграции

1

Создайте LLM connection в Langfuse

В Langfuse откройте Project Settings → LLM Connections. Запустите процесс добавления API key для LLM.
2

Выберите адаптер OpenAI

Выберите OpenAI в качестве provider. Langfuse использует этот адаптер для provider моделей, которые поддерживают схему OpenAI API.
3

Введите учётные данные CometAPI

Настройте подключение со следующими значениями:Если в Langfuse поле base URL находится в разделе Advanced Settings, раскройте этот раздел перед сохранением подключения.
4

Протестируйте в Playground

В Langfuse Playground выберите LLM connection CometAPI и один из настроенных model ID. Отправьте короткий prompt, чтобы убедиться, что Langfuse получает ответ.

​
Использование CometAPI для LLM-as-a-Judge

Оценщики Langfuse LLM-as-a-Judge могут использовать то же LLM connection. Выберите подключение CometAPI в конфигурации оценщика, затем выберите model ID, который поддерживает tool calling, если ваш scoring prompt требует структурированного извлечения. Используйте параметры provider только в том случае, если выбранная модель CometAPI поддерживает эти поля запроса. Для поиска моделей используйте страницу моделей CometAPI или API /v1/models.

​
Устранение неполадок

Добавьте точный model ID CometAPI в список custom model IDs в LLM connection. Langfuse не обнаруживает автоматически все модели для пользовательских OpenAI-совместимых provider.
Используйте https://api.cometapi.com/v1 в качестве base URL. Langfuse добавляет OpenAI-совместимый путь для выбранного адаптера.
Убедитесь, что выбранная модель поддерживает возможности запроса, используемые оценщиком, такие как tool calling или вывод JSON.

​
Связанные ресурсы