Hopp til hovedinnhold

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Langfuse tilbyr LLM-observability, prompt-administrasjon, playgrounds og evalueringsarbeidsflyter. Konfigurer en Langfuse LLM Connection med CometAPI når du vil at Langfuse Playground eller LLM-as-a-Judge-evalueringer skal kalle CometAPI-modeller.

Forutsetninger

Konfigurer integrasjonen

1

Create a Langfuse LLM connection

I Langfuse åpner du Project SettingsLLM Connections. Start flyten for å legge til en LLM API key.
2

Choose the OpenAI adapter

Velg OpenAI som leverandør. Langfuse bruker denne adapteren for modelleverandører som støtter OpenAI API-skjemaet.
3

Enter CometAPI credentials

Konfigurer tilkoblingen med disse verdiene:
FieldValue
API keyDin CometAPI API-nøkkel
Base URLhttps://api.cometapi.com/v1
Custom model IDsÉn eller flere model ID-er fra CometAPI Models page
Hvis Langfuse viser base URL-feltet under Advanced Settings, utvider du den seksjonen før du lagrer tilkoblingen.
4

Test in Playground

I Langfuse Playground velger du CometAPI LLM connection og en av de konfigurerte model ID-ene. Send en kort prompt for å bekrefte at Langfuse mottar et svar.

Bruk CometAPI for LLM-as-a-Judge

Langfuse LLM-as-a-Judge-evaluatorer kan bruke den samme LLM connection. Velg CometAPI-tilkoblingen i evaluator-konfigurasjonen, og velg deretter en model ID som støtter tool calling hvis scoringsprompten din krever strukturert ekstraksjon. Bruk leverandøralternativer bare når den valgte CometAPI-modellen støtter disse forespørselsfeltene. For modelldeteksjon kan du bruke CometAPI Models page eller /v1/models API-et.

Feilsøking

Legg til den nøyaktige CometAPI model ID-en i listen over egendefinerte model ID-er i LLM connection. Langfuse oppdager ikke alle modeller automatisk for egendefinerte OpenAI-kompatible leverandører.
Bruk https://api.cometapi.com/v1 som base URL. Langfuse legger til den OpenAI-kompatible stien for den valgte adapteren.
Bekreft at den valgte modellen støtter forespørselsfunksjonene som brukes av evaluatoren, som tool calling eller JSON-utdata.

Relaterte ressurser