cometapi que llama a CometAPI a través de endpoints compatibles con OpenAI.
Requisitos previos
- Node.js 18+
- Promptfoo instalado localmente o ejecutado mediante
npx - Una cuenta de CometAPI con una clave API activa — obtén la tuya en el dashboard
- Un model ID de la página de modelos de CometAPI
Configura la integración
1
Configura tu clave API de CometAPI
Configura
COMETAPI_KEY antes de ejecutar evaluaciones:2
Elige un formato de provider
Promptfoo usa el siguiente formato de ID de provider para CometAPI:Usa estos tipos de provider:
También puedes usar
cometapi:your-model-id para el modo chat predeterminado.3
Ejecuta una evaluación desde la CLI
El siguiente comando ejecuta una evaluación de chat de un solo prompt:
4
Crea un archivo de configuración de Promptfoo
El siguiente Ejecuta el archivo de configuración con Promptfoo:
promptfooconfig.yaml evalúa el mismo prompt con un modelo de CometAPI:Ejemplos de provider
Usa un tipo de provider que coincida con el comportamiento del modelo que quieres evaluar:chat y pasa variables de imagen mediante las variables de prueba de Promptfoo.
Solución de problemas
Promptfoo no puede encontrar la clave API
Promptfoo no puede encontrar la clave API
Confirma que
COMETAPI_KEY esté exportada en la misma sesión de shell que ejecuta promptfoo eval.El tipo de provider no coincide con el modelo
El tipo de provider no coincide con el modelo
Usa
chat para modelos conversacionales y multimodales, embedding para modelos de embedding, y image para modelos de generación de imágenes.El model ID falla
El model ID falla
Reemplaza
your-model-id por un model ID exacto de la página de modelos de CometAPI.