Saltar para o conteúdo principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo é um framework para avaliação de prompt, testes de regressão e red teaming de IA. O Promptfoo inclui um provedor cometapi que chama o CometAPI por meio de endpoints compatíveis com OpenAI.

​
Pré-requisitos

​
Configurar a integração

1

Defina sua chave de API do CometAPI

Defina COMETAPI_KEY antes de executar as avaliações:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Escolha um formato de provedor

O Promptfoo usa o seguinte formato de ID de provedor para o CometAPI:
providers:
  - cometapi:<type>:<model>
Use estes tipos de provedor:
TypeUse case
chatChat completions, visão e prompts multimodais
completionModelos de conclusão de texto
embeddingAvaliações de embedding de texto
imageAvaliações de geração de imagem
Você também pode usar cometapi:your-model-id para o modo chat padrão.
3

Execute uma avaliação pela CLI

O comando a seguir executa uma avaliação de chat com um único prompt:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Crie um arquivo de configuração do Promptfoo

O promptfooconfig.yaml a seguir avalia o mesmo prompt em relação a um modelo CometAPI:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Execute o arquivo de configuração com o Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Exemplos de provedor

Use um tipo de provedor que corresponda ao comportamento do modelo que você deseja avaliar: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Para testes multimodais, mantenha o tipo de provedor chat e passe variáveis de imagem pelas variáveis de teste do Promptfoo.

​
Solução de problemas

Confirme que COMETAPI_KEY foi exportada na mesma sessão de shell que executa promptfoo eval.
Use chat para modelos conversacionais e multimodais, embedding para modelos de embedding e image para modelos de geração de imagem.
Substitua your-model-id por um model ID exato da página de Models do CometAPI.

​
Recursos relacionados