cometapi yang memanggil CometAPI melalui endpoint yang kompatibel dengan OpenAI.
Prasyarat
- Node.js 18+
- Promptfoo terinstal secara lokal atau dijalankan melalui
npx - Akun CometAPI dengan API key yang aktif — dapatkan milik Anda di dashboard
- model ID dari halaman CometAPI Models
Konfigurasikan integrasi
1
Tetapkan API key CometAPI Anda
Tetapkan
COMETAPI_KEY sebelum Anda menjalankan evaluasi:2
Pilih format provider
Promptfoo menggunakan format ID provider berikut untuk CometAPI:Gunakan jenis provider berikut:
Anda juga dapat menggunakan
cometapi:your-model-id untuk mode chat default.3
Jalankan evaluasi CLI
Perintah berikut menjalankan evaluasi chat satu-prompt:
4
Buat file konfigurasi Promptfoo
promptfooconfig.yaml berikut mengevaluasi prompt yang sama terhadap model CometAPI:Contoh provider
Gunakan jenis provider yang sesuai dengan perilaku model yang ingin Anda evaluasi:chat dan kirim variabel gambar melalui variabel pengujian Promptfoo.
Pemecahan masalah
Promptfoo tidak dapat menemukan API key
Promptfoo tidak dapat menemukan API key
Pastikan
COMETAPI_KEY sudah diekspor dalam sesi shell yang sama yang menjalankan promptfoo eval.Jenis provider tidak cocok dengan model
Jenis provider tidak cocok dengan model
Gunakan
chat untuk model percakapan dan multimodal, embedding untuk model embedding, dan image untuk model pembuatan gambar.model ID gagal
model ID gagal
Ganti
your-model-id dengan model ID yang persis dari halaman CometAPI Models.