Saltar al contenido principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo es un framework para la evaluación de prompts, pruebas de regresión y red teaming de IA. Promptfoo incluye un proveedor cometapi que llama a CometAPI a través de endpoints compatibles con OpenAI.

​
Requisitos previos

​
Configura la integración

1

Configura tu API key de CometAPI

Configura COMETAPI_KEY antes de ejecutar las evaluaciones:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Elige un formato de proveedor

Promptfoo usa el siguiente formato de ID de proveedor para CometAPI:
providers:
  - cometapi:<type>:<model>
Usa estos tipos de proveedor:
TypeUse case
chatChat completions, visión y prompts multimodales
completionModelos de finalización de texto
embeddingEvaluaciones de embeddings de texto
imageEvaluaciones de generación de imágenes
También puedes usar cometapi:your-model-id para el modo de chat predeterminado.
3

Ejecuta una evaluación desde la CLI

El siguiente comando ejecuta una evaluación de chat de un solo prompt:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Crea un archivo de configuración de Promptfoo

El siguiente promptfooconfig.yaml evalúa el mismo prompt con un modelo de CometAPI:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Ejecuta el archivo de configuración con Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Ejemplos de proveedores

Usa un tipo de proveedor que coincida con el comportamiento del modelo que quieres evaluar: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Para pruebas multimodales, mantén el tipo de proveedor chat y pasa variables de imagen a través de las variables de prueba de Promptfoo.

​
Solución de problemas

Confirma que COMETAPI_KEY esté exportada en la misma sesión de shell que ejecuta promptfoo eval.
Usa chat para modelos conversacionales y multimodales, embedding para modelos de embeddings y image para modelos de generación de imágenes.
Reemplaza your-model-id por un model ID exacto de la página de modelos de CometAPI.

​
Recursos relacionados