cometapi che chiama CometAPI tramite endpoint compatibili con OpenAI.
Prerequisiti
- Node.js 18+
- Promptfoo installato localmente o eseguito tramite
npx - Un account CometAPI con una chiave API attiva — ottieni la tua nella dashboard
- Un model ID dalla pagina dei modelli di CometAPI
Configura l’integrazione
1
Imposta la tua chiave API di CometAPI
Imposta
COMETAPI_KEY prima di eseguire le valutazioni:2
Scegli un formato provider
Promptfoo utilizza il seguente formato di provider ID per CometAPI:Usa questi tipi di provider:
Puoi anche usare
cometapi:your-model-id per la modalità chat predefinita.3
Esegui una valutazione da CLI
Il seguente comando esegue una valutazione chat con un solo prompt:
4
Crea un file di configurazione Promptfoo
Il seguente Esegui il file di configurazione con Promptfoo:
promptfooconfig.yaml valuta lo stesso prompt su un modello CometAPI:Esempi di provider
Usa un tipo di provider che corrisponda al comportamento del modello che vuoi valutare:chat e passa le variabili immagine tramite le variabili di test di Promptfoo.
Risoluzione dei problemi
Promptfoo non riesce a trovare la chiave API
Promptfoo non riesce a trovare la chiave API
Conferma che
COMETAPI_KEY sia esportata nella stessa sessione shell che esegue promptfoo eval.Il tipo di provider non corrisponde al modello
Il tipo di provider non corrisponde al modello
Usa
chat per i modelli conversazionali e multimodali, embedding per i modelli di embedding e image per i modelli di generazione di immagini.Il model ID non funziona
Il model ID non funziona
Sostituisci
your-model-id con un model ID esatto dalla pagina dei modelli di CometAPI.