Passer au contenu principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo est un framework d’évaluation de prompts, de tests de régression et de red teaming IA. Promptfoo inclut un provider cometapi qui appelle CometAPI via des endpoints compatibles OpenAI.

​
Prérequis

​
Configurer l’intégration

1

Définir votre clé API CometAPI

Définissez COMETAPI_KEY avant d’exécuter les évaluations :
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Choisir un format de provider

Promptfoo utilise le format d’ID de provider suivant pour CometAPI :
providers:
  - cometapi:<type>:<model>
Utilisez ces types de provider :
TypeCas d’usage
chatChat completions, vision et prompts multimodaux
completionModèles de complétion de texte
embeddingÉvaluations d’embedding de texte
imageÉvaluations de génération d’image
Vous pouvez aussi utiliser cometapi:your-model-id pour le mode chat par défaut.
3

Exécuter une évaluation CLI

La commande suivante exécute une évaluation chat sur un seul prompt :
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Créer un fichier de configuration Promptfoo

Le fichier promptfooconfig.yaml suivant évalue le même prompt avec un modèle CometAPI :
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Exécutez le fichier de configuration avec Promptfoo :
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Exemples de provider

Utilisez un type de provider qui correspond au comportement du modèle que vous souhaitez évaluer : 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Pour les tests multimodaux, conservez le type de provider chat et transmettez les variables d’image via les variables de test Promptfoo.

​
Dépannage

Vérifiez que COMETAPI_KEY est exportée dans la même session shell qui exécute promptfoo eval.
Utilisez chat pour les modèles conversationnels et multimodaux, embedding pour les modèles d’embedding, et image pour les modèles de génération d’image.
Remplacez your-model-id par un model ID exact depuis la page des modèles CometAPI.

​
Ressources associées