前提条件
- 一个 Langfuse Cloud 项目或自托管的 Langfuse 实例
- 一个具有有效 API key 的 CometAPI 账户 — 在控制台获取
- 至少一个从 CometAPI Models 页面 选择的 CometAPI model ID
配置集成
1
创建 Langfuse LLM connection
在 Langfuse 中，打开 Project Settings → LLM Connections。开始添加 LLM API key 的流程。
2
选择 OpenAI 适配器
选择 OpenAI 作为 provider。对于支持 OpenAI API schema 的模型 provider，Langfuse 会使用此适配器。
3
输入 CometAPI 凭证
使用以下值配置该连接：
如果 Langfuse 将 base URL 字段放在 Advanced Settings 下，请在保存连接前展开该部分。
4
在 Playground 中测试
在 Langfuse Playground 中，选择 CometAPI LLM connection 以及一个已配置的 model ID。发送一个简短的 Prompt，以确认 Langfuse 收到了响应。
将 CometAPI 用于 LLM-as-a-Judge
Langfuse 的 LLM-as-a-Judge evaluator 也可以使用同一个 LLM connection。在 evaluator 配置中选择 CometAPI connection，然后选择一个支持 tool calling 的 model ID（如果你的评分 Prompt 需要结构化提取）。 仅当所选 CometAPI model 支持这些请求字段时才使用 provider 选项。要发现可用 model，请使用 CometAPI Models 页面 或/v1/models API。
故障排查
在 Langfuse 中看不到 model
在 Langfuse 中看不到 model
将准确的 CometAPI model ID 添加到 LLM connection 的 custom model IDs 列表中。对于自定义的 OpenAI-compatible provider，Langfuse 不会自动发现每一个 model。
请求使用了错误的 API 路径
请求使用了错误的 API 路径
使用
https://api.cometapi.com/v1 作为 base URL。Langfuse 会为所选适配器追加 OpenAI-compatible 路径。Evaluator 调用失败
Evaluator 调用失败
确认所选 model 支持 evaluator 使用的请求功能，例如 tool calling 或 JSON 输出。