Skip to main content
Langfuse надає спостережуваність LLM, керування Prompt, playground-и та workflows для оцінювання. Налаштуйте Langfuse LLM Connection з CometAPI, якщо хочете, щоб Langfuse Playground або оцінювання LLM-as-a-Judge зверталися до моделей CometAPI.

​
Передумови

​
Налаштування інтеграції

1

Створіть Langfuse LLM connection

У Langfuse відкрийте Project Settings → LLM Connections. Запустіть процес додавання API key для LLM.
2

Виберіть адаптер OpenAI

Виберіть OpenAI як provider. Langfuse використовує цей адаптер для provider-ів моделей, які підтримують схему OpenAI API.
3

Введіть облікові дані CometAPI

Налаштуйте connection, використовуючи такі значення:Якщо Langfuse показує поле base URL у розділі Advanced Settings, розгорніть цей розділ перед збереженням connection.
4

Протестуйте в Playground

У Langfuse Playground виберіть LLM connection CometAPI та один із налаштованих model ID. Надішліть короткий Prompt, щоб підтвердити, що Langfuse отримує відповідь.

​
Використання CometAPI для LLM-as-a-Judge

Оцінювачі Langfuse LLM-as-a-Judge можуть використовувати той самий LLM connection. Виберіть connection CometAPI в конфігурації оцінювача, а потім виберіть model ID, який підтримує tool calling, якщо ваш Prompt для оцінювання потребує структурованого вилучення. Використовуйте параметри provider лише тоді, коли вибрана модель CometAPI підтримує ці поля запиту. Для пошуку моделей використовуйте сторінку моделей CometAPI або API /v1/models.

​
Усунення несправностей

Додайте точний model ID CometAPI до списку custom model IDs у LLM connection. Langfuse не виявляє автоматично кожну модель для кастомних OpenAI-compatible provider-ів.
Використовуйте https://api.cometapi.com/v1 як base URL. Langfuse додає OpenAI-compatible шлях для вибраного адаптера.
Переконайтеся, що вибрана модель підтримує функції запиту, які використовує оцінювач, наприклад tool calling або JSON output.

​
Пов’язані ресурси