Saltar al contenido principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Langfuse proporciona observabilidad de LLM, gestión de prompts, playgrounds y flujos de trabajo de evaluación. Configura una LLM Connection de Langfuse con CometAPI cuando quieras que Langfuse Playground o las evaluaciones de LLM-as-a-Judge llamen a modelos de CometAPI.

Requisitos previos

Configurar la integración

1

Create a Langfuse LLM connection

En Langfuse, abre Project SettingsLLM Connections. Inicia el flujo para agregar una API key de LLM.
2

Choose the OpenAI adapter

Selecciona OpenAI como proveedor. Langfuse usa este adaptador para proveedores de modelos que admiten el esquema de API de OpenAI.
3

Enter CometAPI credentials

Configura la conexión con estos valores:
FieldValue
API keyTu API key de CometAPI
Base URLhttps://api.cometapi.com/v1
Custom model IDsUno o más model IDs de la página de modelos de CometAPI
Si Langfuse muestra el campo de URL base en Advanced Settings, expande esa sección antes de guardar la conexión.
4

Test in Playground

En Langfuse Playground, selecciona la LLM Connection de CometAPI y uno de los model IDs configurados. Envía un prompt corto para confirmar que Langfuse recibe una respuesta.

Usar CometAPI para LLM-as-a-Judge

Los evaluadores de LLM-as-a-Judge de Langfuse pueden usar la misma LLM Connection. Selecciona la conexión de CometAPI en la configuración del evaluador y luego elige un model ID que admita tool calling si tu prompt de puntuación requiere extracción estructurada. Usa opciones del proveedor solo cuando el modelo de CometAPI seleccionado admita esos campos de solicitud. Para descubrir modelos, usa la página de modelos de CometAPI o la API /v1/models.

Solución de problemas

Agrega el model ID exacto de CometAPI a la lista de custom model IDs en la LLM Connection. Langfuse no detecta automáticamente todos los modelos para proveedores personalizados compatibles con OpenAI.
Usa https://api.cometapi.com/v1 como URL base. Langfuse agrega la ruta compatible con OpenAI para el adaptador seleccionado.
Confirma que el modelo seleccionado admite las funciones de solicitud usadas por el evaluador, como tool calling o salida JSON.

Recursos relacionados