cometapi qui appelle CometAPI via des endpoints compatibles OpenAI.
Prérequis
- Node.js 18+
- Promptfoo installé localement ou exécuté via
npx - Un compte CometAPI avec une clé API active — obtenez la vôtre dans le dashboard
- Un model ID depuis la page des modèles CometAPI
Configurer l’intégration
1
Définissez votre clé API CometAPI
Définissez
COMETAPI_KEY avant d’exécuter les évaluations:2
Choisissez un format de fournisseur
Promptfoo utilise le format d’ID de fournisseur suivant pour CometAPI:Utilisez ces types de fournisseur:
Vous pouvez également utiliser
cometapi:your-model-id pour le mode chat par défaut.3
Exécutez une évaluation CLI
La commande suivante exécute une évaluation chat à un seul prompt:
4
Créez un fichier de configuration Promptfoo
Le fichier Exécutez le fichier de configuration avec Promptfoo:
promptfooconfig.yaml suivant évalue le même prompt avec un modèle CometAPI:Exemples de fournisseur
Utilisez un type de fournisseur qui correspond au comportement du modèle que vous souhaitez évaluer:chat et transmettez les variables d’image via les variables de test Promptfoo.
Dépannage
Promptfoo ne trouve pas la clé API
Promptfoo ne trouve pas la clé API
Vérifiez que
COMETAPI_KEY est exportée dans la même session shell que celle qui exécute promptfoo eval.Le type de fournisseur ne correspond pas au modèle
Le type de fournisseur ne correspond pas au modèle
Utilisez
chat pour les modèles conversationnels et multimodaux, embedding pour les modèles d’embedding, et image pour les modèles de génération d’images.Le model ID échoue
Le model ID échoue
Remplacez
your-model-id par un model ID exact depuis la page des modèles CometAPI.