Vai al contenuto principale

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo è un framework per la valutazione dei prompt, i test di regressione e il red teaming AI. Promptfoo include un provider cometapi che chiama CometAPI tramite endpoint compatibili con OpenAI.

​
Prerequisiti

​
Configura l’integrazione

1

Imposta la tua chiave API CometAPI

Imposta COMETAPI_KEY prima di eseguire le valutazioni:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Scegli un formato provider

Promptfoo usa il seguente formato di provider ID per CometAPI:
providers:
  - cometapi:<type>:<model>
Usa questi tipi di provider:
TypeCaso d’uso
chatChat completions, vision e prompt multimodali
completionModelli di completamento del testo
embeddingValutazioni di text embedding
imageValutazioni di generazione di immagini
Puoi anche usare cometapi:your-model-id per la modalità chat predefinita.
3

Esegui una valutazione CLI

Il seguente comando esegue una valutazione chat con un solo prompt:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Crea un file di configurazione Promptfoo

Il seguente promptfooconfig.yaml valuta lo stesso prompt rispetto a un modello CometAPI:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Esegui il file di configurazione con Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Esempi di provider

Usa un tipo di provider che corrisponda al comportamento del modello che vuoi valutare: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Per i test multimodali, mantieni il tipo di provider chat e passa le variabili immagine tramite le variabili di test di Promptfoo.

​
Risoluzione dei problemi

Verifica che COMETAPI_KEY sia esportata nella stessa sessione della shell che esegue promptfoo eval.
Usa chat per i modelli conversazionali e multimodali, embedding per i modelli di embedding e image per i modelli di generazione di immagini.
Sostituisci your-model-id con un model ID esatto dalla pagina Modelli di CometAPI.

​
Risorse correlate