Langfuse - CometAPI Documentation

Langfuse zapewnia obserwowalność LLM, zarządzanie promptami, playgroundy oraz przepływy pracy do ewaluacji. Skonfiguruj połączenie Langfuse LLM Connection z CometAPI, gdy chcesz, aby Langfuse Playground lub oceny LLM-as-a-Judge wywoływały modele CometAPI.

Wymagania wstępne

Projekt Langfuse Cloud lub samodzielnie hostowana instancja Langfuse
Konto CometAPI z aktywnym kluczem API — pobierz swój w panelu
Co najmniej jeden model ID CometAPI wybrany na stronie modeli CometAPI

Skonfiguruj integrację

Utwórz połączenie Langfuse LLM

W Langfuse otwórz Project Settings → LLM Connections. Rozpocznij proces dodawania klucza API LLM.

Wybierz adapter OpenAI

Wybierz OpenAI jako dostawcę. Langfuse używa tego adaptera dla dostawców modeli, którzy obsługują schemat API OpenAI.

Wprowadź dane uwierzytelniające CometAPI

Skonfiguruj połączenie przy użyciu tych wartości:

Field	Value
Klucz API	Twój klucz API CometAPI
Base URL	`https://api.cometapi.com/v1`
Własne model ID	Jeden lub więcej model ID ze strony modeli CometAPI

Jeśli Langfuse udostępnia pole base URL w sekcji Advanced Settings, rozwiń tę sekcję przed zapisaniem połączenia.

Przetestuj w Playground

W Langfuse Playground wybierz połączenie CometAPI LLM oraz jeden ze skonfigurowanych model ID. Wyślij krótki Prompt, aby potwierdzić, że Langfuse otrzymuje odpowiedź.

Użyj CometAPI do LLM-as-a-Judge

Ewaluatory Langfuse LLM-as-a-Judge mogą korzystać z tego samego połączenia LLM. W konfiguracji ewaluatora wybierz połączenie CometAPI, a następnie wybierz model ID, który obsługuje tool calling, jeśli Twój Prompt oceniający wymaga uporządkowanej ekstrakcji. Używaj opcji dostawcy tylko wtedy, gdy wybrany model CometAPI obsługuje te pola żądania. Aby wyszukiwać modele, skorzystaj ze strony modeli CometAPI lub z API /v1/models.

Rozwiązywanie problemów

Model nie jest widoczny w Langfuse

Dodaj dokładny model ID CometAPI do listy własnych model ID w połączeniu LLM. Langfuse nie wykrywa automatycznie każdego modelu dla niestandardowych dostawców zgodnych z OpenAI.

Żądanie używa nieprawidłowej ścieżki API

Użyj https://api.cometapi.com/v1 jako base URL. Langfuse dodaje ścieżkę zgodną z OpenAI dla wybranego adaptera.

Wywołania ewaluatora kończą się niepowodzeniem

Upewnij się, że wybrany model obsługuje funkcje żądania używane przez ewaluator, takie jak tool calling lub wyjście JSON.