Langfuse - CometAPI Documentation

Langfuse menyediakan observabilitas LLM, manajemen prompt, playground, dan alur kerja evaluasi. Konfigurasikan Langfuse LLM Connection dengan CometAPI saat Anda ingin Langfuse Playground atau evaluasi LLM-as-a-Judge memanggil model CometAPI.

Prasyarat

Proyek Langfuse Cloud atau instance Langfuse yang di-host sendiri
Akun CometAPI dengan API key yang aktif — dapatkan milik Anda di dashboard
Setidaknya satu model ID CometAPI yang dipilih dari halaman CometAPI Models

Konfigurasikan integrasi

Create a Langfuse LLM connection

Di Langfuse, buka Project Settings → LLM Connections. Mulai alur untuk menambahkan API key LLM.

Choose the OpenAI adapter

Pilih OpenAI sebagai provider. Langfuse menggunakan adapter ini untuk provider model yang mendukung skema API OpenAI.

Enter CometAPI credentials

Konfigurasikan koneksi dengan nilai berikut:

Field	Value
API key	API key CometAPI Anda
Base URL	`https://api.cometapi.com/v1`
Custom model IDs	Satu atau lebih model ID dari halaman CometAPI Models

Jika Langfuse menampilkan field base URL di bawah Advanced Settings, perluas bagian tersebut sebelum menyimpan koneksi.

Test in Playground

Di Langfuse Playground, pilih koneksi LLM CometAPI dan salah satu model ID yang telah dikonfigurasi. Kirim prompt singkat untuk memastikan bahwa Langfuse menerima respons.

Gunakan CometAPI untuk LLM-as-a-Judge

Evaluator Langfuse LLM-as-a-Judge dapat menggunakan koneksi LLM yang sama. Pilih koneksi CometAPI dalam konfigurasi evaluator, lalu pilih model ID yang mendukung tool calling jika prompt penilaian Anda memerlukan ekstraksi terstruktur. Gunakan opsi provider hanya ketika model CometAPI yang dipilih mendukung field permintaan tersebut. Untuk penemuan model, gunakan halaman CometAPI Models atau API /v1/models.

Pemecahan masalah

The model is not visible in Langfuse

Tambahkan model ID CometAPI yang persis sama ke daftar custom model IDs di koneksi LLM. Langfuse tidak menemukan setiap model secara otomatis untuk provider kustom yang kompatibel dengan OpenAI.

The request uses the wrong API path

Gunakan https://api.cometapi.com/v1 sebagai base URL. Langfuse menambahkan path yang kompatibel dengan OpenAI untuk adapter yang dipilih.

Evaluator calls fail

Pastikan model yang dipilih mendukung fitur permintaan yang digunakan oleh evaluator, seperti tool calling atau output JSON.