Skip to main content
Langfuse fournit l’observabilité des LLM, la gestion des prompts, des playgrounds et des workflows d’évaluation. Configurez une connexion LLM Langfuse avec CometAPI lorsque vous souhaitez que Langfuse Playground ou les évaluations LLM-as-a-Judge appellent des modèles CometAPI.

Prérequis

Configurer l’intégration

1

Créer une connexion LLM Langfuse

Dans Langfuse, ouvrez Project SettingsLLM Connections. Démarrez le processus d’ajout d’une clé API LLM.
2

Choisir l’adaptateur OpenAI

Sélectionnez OpenAI comme fournisseur. Langfuse utilise cet adaptateur pour les fournisseurs de modèles qui prennent en charge le schéma d’API OpenAI.
3

Saisir les identifiants CometAPI

Configurez la connexion avec ces valeurs :Si Langfuse affiche le champ de l’URL de base dans Advanced Settings, développez cette section avant d’enregistrer la connexion.
4

Tester dans Playground

Dans Langfuse Playground, sélectionnez la connexion LLM CometAPI et l’un des model IDs configurés. Envoyez un prompt court pour confirmer que Langfuse reçoit une réponse.

Utiliser CometAPI pour LLM-as-a-Judge

Les évaluateurs LLM-as-a-Judge de Langfuse peuvent utiliser la même connexion LLM. Sélectionnez la connexion CometAPI dans la configuration de l’évaluateur, puis choisissez un model ID qui prend en charge le tool calling si votre prompt de notation nécessite une extraction structurée. Utilisez les options de fournisseur uniquement lorsque le modèle CometAPI sélectionné prend en charge ces champs de requête. Pour découvrir les modèles, utilisez la page des modèles CometAPI ou l’API /v1/models.

Dépannage

Ajoutez le model ID CometAPI exact à la liste des model IDs personnalisés dans la connexion LLM. Langfuse ne détecte pas automatiquement tous les modèles pour les fournisseurs personnalisés compatibles OpenAI.
Utilisez https://api.cometapi.com/v1 comme URL de base. Langfuse ajoute le chemin compatible OpenAI pour l’adaptateur sélectionné.
Vérifiez que le modèle sélectionné prend en charge les fonctionnalités de requête utilisées par l’évaluateur, telles que le tool calling ou la sortie JSON.

Ressources associées