Promptfoo'yu CometAPI ile kullanın

Promptfoo, prompt değerlendirmesi, regresyon testi ve AI red teaming için bir framework’tür. Promptfoo, CometAPI’yi OpenAI uyumlu endpoint’ler üzerinden çağıran bir cometapi provider içerir.

Ön koşullar

Node.js 18+
Promptfoo’nun yerel olarak kurulmuş olması veya npx üzerinden çalıştırılması
Etkin bir API key’e sahip bir CometAPI hesabı — sizinkini dashboard’dan alın
CometAPI Models sayfasından bir model ID

Entegrasyonu yapılandırın

CometAPI API key'inizi ayarlayın

Değerlendirmeleri çalıştırmadan önce COMETAPI_KEY ayarlayın:

read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY

Bir provider formatı seçin

Promptfoo, CometAPI için aşağıdaki provider ID formatını kullanır:

providers:
  - cometapi:<type>:<model>

Şu provider türlerini kullanın:

Type	Use case
`chat`	Chat completions, vision ve multimodal prompt’lar
`completion`	Metin tamamlama modelleri
`embedding`	Metin embedding değerlendirmeleri
`image`	Görsel üretimi değerlendirmeleri

Varsayılan chat modu için cometapi:your-model-id de kullanabilirsiniz.

Bir CLI değerlendirmesi çalıştırın

Aşağıdaki komut, tek prompt’lu bir chat değerlendirmesi çalıştırır:

npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id

Bir Promptfoo yapılandırma dosyası oluşturun

Aşağıdaki promptfooconfig.yaml, aynı prompt’u bir CometAPI modeline karşı değerlendirir:

prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration

Yapılandırma dosyasını Promptfoo ile çalıştırın:

npx promptfoo@latest eval -c promptfooconfig.yaml

Provider örnekleri

Değerlendirmek istediğiniz model davranışına uygun bir provider türü kullanın:

providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id

Multimodal testler için chat provider türünü koruyun ve görsel değişkenlerini Promptfoo test değişkenleri üzerinden geçirin.

Sorun giderme

Promptfoo API key'i bulamıyor

COMETAPI_KEY değişkeninin, promptfoo eval komutunu çalıştırdığınız aynı shell oturumunda export edildiğini doğrulayın.

Provider türü modelle eşleşmiyor

Konuşma tabanlı ve multimodal modeller için chat, embedding modelleri için embedding, görsel üretim modelleri için ise image kullanın.

model ID başarısız oluyor

your-model-id değerini CometAPI Models sayfasındaki tam bir model ID ile değiştirin.

İlgili kaynaklar

Langfuse'u CometAPI'ye bağlayın

CometAPI ile AI SDK kullanın

Genel Bakış

AI kodlama ajanları

AI ajanları

AI sohbet istemcileri

Çeviri ve dil

Otomasyon platformları

Gözlemlenebilirlik ve değerlendirme

AI framework'leri

Ön koşullar

Entegrasyonu yapılandırın

Provider örnekleri

Sorun giderme

İlgili kaynaklar

​Ön koşullar

​Entegrasyonu yapılandırın

​Provider örnekleri

​Sorun giderme

​İlgili kaynaklar

Ön koşullar

Entegrasyonu yapılandırın

Provider örnekleri

Sorun giderme

İlgili kaynaklar