Điều kiện tiên quyết
- Một dự án Langfuse Cloud hoặc một phiên bản Langfuse tự host
- Một tài khoản CometAPI với API key đang hoạt động — lấy tại dashboard
- Ít nhất một model ID của CometAPI được chọn từ trang CometAPI Models
Cấu hình tích hợp
1
Tạo kết nối LLM trong Langfuse
Trong Langfuse, mở Project Settings → LLM Connections. Bắt đầu quy trình thêm một API key cho LLM.
2
Chọn adapter OpenAI
Chọn OpenAI làm provider. Langfuse sử dụng adapter này cho các nhà cung cấp model hỗ trợ schema API của OpenAI.
3
Nhập thông tin xác thực CometAPI
Cấu hình kết nối với các giá trị sau:
Nếu Langfuse hiển thị trường base URL trong Advanced Settings, hãy mở rộng phần đó trước khi lưu kết nối.
4
Kiểm tra trong Playground
Trong Langfuse Playground, chọn kết nối LLM CometAPI và một trong các model ID đã cấu hình. Gửi một prompt ngắn để xác nhận rằng Langfuse nhận được phản hồi.
Sử dụng CometAPI cho LLM-as-a-Judge
Các bộ đánh giá LLM-as-a-Judge của Langfuse có thể sử dụng cùng một kết nối LLM. Chọn kết nối CometAPI trong cấu hình bộ đánh giá, sau đó chọn một model ID hỗ trợ tool calling nếu prompt chấm điểm của bạn yêu cầu trích xuất có cấu trúc. Chỉ sử dụng các tùy chọn provider khi model CometAPI đã chọn hỗ trợ các trường request đó. Để khám phá model, hãy dùng trang CometAPI Models hoặc API/v1/models.
Khắc phục sự cố
Model không hiển thị trong Langfuse
Model không hiển thị trong Langfuse
Thêm chính xác model ID của CometAPI vào danh sách custom model IDs trong kết nối LLM. Langfuse không tự động phát hiện mọi model cho các provider tùy chỉnh tương thích OpenAI.
Request sử dụng sai đường dẫn API
Request sử dụng sai đường dẫn API
Sử dụng
https://api.cometapi.com/v1 làm base URL. Langfuse sẽ nối thêm đường dẫn tương thích OpenAI cho adapter đã chọn.Các lệnh gọi của bộ đánh giá bị lỗi
Các lệnh gọi của bộ đánh giá bị lỗi
Xác nhận rằng model đã chọn hỗ trợ các tính năng request mà bộ đánh giá sử dụng, chẳng hạn như tool calling hoặc đầu ra JSON.