Naar hoofdinhoud gaan

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo is een framework voor prompt-evaluatie, regressietests en AI red teaming. Promptfoo bevat een cometapi-provider die CometAPI aanroept via OpenAI-compatibele endpoints.

​
Vereisten

​
Configureer de integratie

1

Stel je CometAPI API-sleutel in

Stel COMETAPI_KEY in voordat je evaluaties uitvoert:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Kies een providerindeling

Promptfoo gebruikt de volgende provider ID-indeling voor CometAPI:
providers:
  - cometapi:<type>:<model>
Gebruik deze providertypen:
TypeGebruikssituatie
chatChat completions, vision en multimodal prompts
completionTekst-completionmodellen
embeddingTekst-embeddingevaluaties
imageImage generation-evaluaties
Je kunt ook cometapi:your-model-id gebruiken voor de standaard chatmodus.
3

Voer een CLI-evaluatie uit

Met de volgende opdracht voer je een chat-evaluatie met één prompt uit:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Maak een Promptfoo-configuratiebestand

Het volgende promptfooconfig.yaml evalueert dezelfde prompt tegen een CometAPI-model:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Voer het configuratiebestand uit met Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Providervoorbeelden

Gebruik een providertype dat overeenkomt met het modelgedrag dat je wilt evalueren: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
Voor multimodal tests behoud je het chat-providertype en geef je image-variabelen door via Promptfoo-testvariabelen.

​
Probleemoplossing

Controleer of COMETAPI_KEY is geëxporteerd in dezelfde shellsessie waarin promptfoo eval wordt uitgevoerd.
Gebruik chat voor conversationele en multimodal modellen, embedding voor embedding-modellen en image voor image generation-modellen.
Vervang your-model-id door een exact model ID van de CometAPI Models page.

​
Gerelateerde bronnen