Ana içeriğe atla

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo, prompt değerlendirme, regresyon testi ve AI red teaming için bir framework’tür. Promptfoo, CometAPI’yi OpenAI uyumlu endpoint’ler üzerinden çağıran bir cometapi provider içerir.

​
Ön koşullar

​
Entegrasyonu yapılandırın

1

CometAPI API key'inizi ayarlayın

Değerlendirmeleri çalıştırmadan önce COMETAPI_KEY değerini ayarlayın:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Bir provider formatı seçin

Promptfoo, CometAPI için aşağıdaki provider ID formatını kullanır:
providers:
  - cometapi:<type>:<model>
Şu provider türlerini kullanın:
TypeKullanım durumu
chatChat completions, vision ve multimodal prompt’lar
completionMetin tamamlama modelleri
embeddingMetin embedding değerlendirmeleri
imageGörüntü oluşturma değerlendirmeleri
Varsayılan chat modu için cometapi:your-model-id biçimini de kullanabilirsiniz.
3

Bir CLI değerlendirmesi çalıştırın

Aşağıdaki komut tek prompt’lu bir chat değerlendirmesi çalıştırır:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Bir Promptfoo yapılandırma dosyası oluşturun

Aşağıdaki promptfooconfig.yaml, aynı prompt’u bir CometAPI modeliyle değerlendirir:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Yapılandırma dosyasını Promptfoo ile çalıştırın:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Provider örnekleri

Değerlendirmek istediğiniz model davranışına uygun bir provider türü kullanın: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Multimodal testler için chat provider türünü koruyun ve görüntü değişkenlerini Promptfoo test değişkenleri üzerinden iletin.

​
Sorun giderme

COMETAPI_KEY değerinin, promptfoo eval komutunu çalıştırdığınız aynı shell oturumunda export edildiğini doğrulayın.
Konuşma tabanlı ve multimodal modeller için chat, embedding modelleri için embedding ve görüntü oluşturma modelleri için image kullanın.
your-model-id değerini CometAPI Models sayfasındaki tam bir model ID ile değiştirin.

​
İlgili kaynaklar