Zum Hauptinhalt springen

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Langfuse bietet LLM-Observability, Prompt-Management, Playgrounds und Evaluierungs-Workflows. Konfigurieren Sie eine Langfuse LLM Connection mit CometAPI, wenn Langfuse Playground oder LLM-as-a-Judge-Auswertungen CometAPI-Modelle aufrufen sollen.

Voraussetzungen

Die Integration konfigurieren

1

Create a Langfuse LLM connection

Öffnen Sie in Langfuse Project SettingsLLM Connections. Starten Sie den Ablauf zum Hinzufügen eines LLM API-Schlüssels.
2

Choose the OpenAI adapter

Wählen Sie OpenAI als Anbieter aus. Langfuse verwendet diesen Adapter für Modellanbieter, die das OpenAI-API-Schema unterstützen.
3

Enter CometAPI credentials

Konfigurieren Sie die Verbindung mit diesen Werten:
FieldValue
API keyIhr CometAPI-API-Schlüssel
Base URLhttps://api.cometapi.com/v1
Custom model IDsEine oder mehrere model IDs von der CometAPI Models-Seite
Wenn Langfuse das Feld für die Base URL unter Advanced Settings anzeigt, erweitern Sie diesen Abschnitt, bevor Sie die Verbindung speichern.
4

Test in Playground

Wählen Sie im Langfuse Playground die CometAPI-LLM-Verbindung und eine der konfigurierten model IDs aus. Senden Sie einen kurzen Prompt, um zu bestätigen, dass Langfuse eine Antwort erhält.

CometAPI für LLM-as-a-Judge verwenden

Langfuse-LLM-as-a-Judge-Evaluatoren können dieselbe LLM Connection verwenden. Wählen Sie die CometAPI-Verbindung in der Evaluator-Konfiguration aus und dann eine model ID, die tool calling unterstützt, falls Ihr Bewertungs-Prompt eine strukturierte Extraktion erfordert. Verwenden Sie Anbieteroptionen nur, wenn das ausgewählte CometAPI-Modell diese Anforderungsfelder unterstützt. Für die Modellsuche verwenden Sie die CometAPI Models-Seite oder die /v1/models API.

Fehlerbehebung

Fügen Sie die exakte CometAPI-model ID zur Liste der benutzerdefinierten model IDs in der LLM Connection hinzu. Langfuse erkennt nicht automatisch jedes Modell bei benutzerdefinierten OpenAI-kompatiblen Anbietern.
Verwenden Sie https://api.cometapi.com/v1 als Base URL. Langfuse hängt den OpenAI-kompatiblen Pfad für den ausgewählten Adapter an.
Bestätigen Sie, dass das ausgewählte Modell die vom Evaluator verwendeten Anforderungsfunktionen unterstützt, etwa tool calling oder JSON-Ausgabe.

Verwandte Ressourcen