Langsung ke konten utama

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo adalah framework untuk evaluasi prompt, pengujian regresi, dan red teaming AI. Promptfoo menyertakan provider cometapi yang memanggil CometAPI melalui endpoint yang kompatibel dengan OpenAI.

​
Prasyarat

​
Konfigurasikan integrasi

1

Tetapkan API key CometAPI Anda

Tetapkan COMETAPI_KEY sebelum Anda menjalankan evaluasi:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Pilih format provider

Promptfoo menggunakan format ID provider berikut untuk CometAPI:
providers:
  - cometapi:<type>:<model>
Gunakan jenis provider berikut:
TypeUse case
chatChat completions, vision, dan prompt multimodal
completionModel text completion
embeddingEvaluasi text embedding
imageEvaluasi pembuatan gambar
Anda juga dapat menggunakan cometapi:your-model-id untuk mode chat default.
3

Jalankan evaluasi CLI

Perintah berikut menjalankan evaluasi chat satu prompt:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Buat file konfigurasi Promptfoo

promptfooconfig.yaml berikut mengevaluasi prompt yang sama terhadap model CometAPI:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Jalankan file konfigurasi dengan Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Contoh provider

Gunakan jenis provider yang sesuai dengan perilaku model yang ingin Anda evaluasi: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Untuk pengujian multimodal, tetap gunakan jenis provider chat dan teruskan variabel gambar melalui variabel pengujian Promptfoo.

​
Pemecahan masalah

Pastikan COMETAPI_KEY diekspor dalam sesi shell yang sama yang menjalankan promptfoo eval.
Gunakan chat untuk model percakapan dan multimodal, embedding untuk model embedding, dan image untuk model pembuatan gambar.
Ganti your-model-id dengan model ID yang persis dari halaman CometAPI Models.

​
Sumber daya terkait