Skip to main content
Langfuse oferece observabilidade de LLM, gerenciamento de prompt, playgrounds e fluxos de avaliação. Configure uma conexão de LLM do Langfuse com o CometAPI quando quiser que o Langfuse Playground ou as avaliações LLM-as-a-Judge chamem modelos do CometAPI.

​
Pré-requisitos

​
Configurar a integração

1

Criar uma conexão de LLM no Langfuse

No Langfuse, abra Project Settings → LLM Connections. Inicie o fluxo para adicionar uma chave de API de LLM.
2

Escolher o adaptador OpenAI

Selecione OpenAI como provider. O Langfuse usa esse adaptador para provedores de modelo que oferecem suporte ao esquema de API da OpenAI.
3

Inserir credenciais do CometAPI

Configure a conexão com estes valores:Se o Langfuse expuser o campo de URL base em Advanced Settings, expanda essa seção antes de salvar a conexão.
4

Testar no Playground

No Langfuse Playground, selecione a conexão de LLM do CometAPI e um dos model IDs configurados. Envie um prompt curto para confirmar que o Langfuse recebe uma resposta.

​
Usar o CometAPI para LLM-as-a-Judge

Os avaliadores LLM-as-a-Judge do Langfuse podem usar a mesma conexão de LLM. Selecione a conexão do CometAPI na configuração do avaliador e depois escolha um model ID que ofereça suporte a tool calling se o seu prompt de pontuação exigir extração estruturada. Use opções de provider apenas quando o modelo CometAPI selecionado oferecer suporte a esses campos de requisição. Para descobrir modelos, use a página de modelos do CometAPI ou a API /v1/models.

​
Solução de problemas

Adicione o model ID exato do CometAPI à lista de custom model IDs na conexão de LLM. O Langfuse não descobre automaticamente todos os modelos para provedores personalizados compatíveis com OpenAI.
Use https://api.cometapi.com/v1 como URL base. O Langfuse acrescenta o caminho compatível com OpenAI para o adaptador selecionado.
Confirme que o modelo selecionado oferece suporte aos recursos de requisição usados pelo avaliador, como tool calling ou saída em JSON.

​
Recursos relacionados