cometapi que chama a CometAPI por meio de endpoints compatíveis com OpenAI.
Pré-requisitos
- Node.js 18+
- Promptfoo instalado localmente ou executado por meio de
npx - Uma conta CometAPI com uma chave de API ativa — obtenha a sua no dashboard
- Um model ID da página de Models da CometAPI
Configure a integração
1
Defina sua chave de API da CometAPI
Defina
COMETAPI_KEY antes de executar as avaliações:2
Escolha um formato de provider
O Promptfoo usa o seguinte formato de ID de provider para a CometAPI:Use estes tipos de provider:
Você também pode usar
cometapi:your-model-id para o modo chat padrão.3
Execute uma avaliação via CLI
O comando a seguir executa uma avaliação de chat com um único prompt:
4
Crie um arquivo de configuração do Promptfoo
O arquivo Execute o arquivo de configuração com o Promptfoo:
promptfooconfig.yaml a seguir avalia o mesmo prompt em um modelo da CometAPI:Exemplos de provider
Use um tipo de provider que corresponda ao comportamento do modelo que você deseja avaliar:chat e passe variáveis de imagem por meio das variáveis de teste do Promptfoo.
Solução de problemas
O Promptfoo não consegue encontrar a chave de API
O Promptfoo não consegue encontrar a chave de API
Confirme que
COMETAPI_KEY foi exportada na mesma sessão do shell que executa promptfoo eval.O tipo de provider não corresponde ao modelo
O tipo de provider não corresponde ao modelo
Use
chat para modelos conversacionais e multimodais, embedding para modelos de embedding e image para modelos de geração de imagem.O model ID falha
O model ID falha
Substitua
your-model-id por um model ID exato da página de Models da CometAPI.