Hopp til hovedinnhold

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo er et rammeverk for prompt-evaluering, regresjonstesting og AI red teaming. Promptfoo inkluderer en cometapi provider som kaller CometAPI gjennom OpenAI-kompatible endepunkter.

​
Forutsetninger

​
Konfigurer integrasjonen

1

Angi CometAPI API-nøkkelen din

Angi COMETAPI_KEY før du kjører evalueringer:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Velg et provider-format

Promptfoo bruker følgende provider ID-format for CometAPI:
providers:
  - cometapi:<type>:<model>
Bruk disse provider-typene:
TypeBruksområde
chatChat completions, vision og multimodale prompts
completionTekst-completion-modeller
embeddingEvalueringer av tekst-embedding
imageEvalueringer av bildegenerering
Du kan også bruke cometapi:your-model-id for standard chat-modus.
3

Kjør en CLI-evaluering

Følgende kommando kjører en chat-evaluering med én prompt:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Opprett en Promptfoo-konfigurasjonsfil

Følgende promptfooconfig.yaml evaluerer den samme prompten mot en CometAPI-modell:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Kjør konfigurasjonsfilen med Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Provider-eksempler

Bruk en provider-type som samsvarer med modelloppførselen du vil evaluere: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
For multimodale tester beholder du provider-typen chat og sender bildevariabler gjennom Promptfoo-testvariabler.

​
Feilsøking

Bekreft at COMETAPI_KEY er eksportert i samme shell-økt som kjører promptfoo eval.
Bruk chat for samtalebaserte og multimodale modeller, embedding for embedding-modeller og image for bildegenereringsmodeller.
Erstatt your-model-id med en nøyaktig model ID fra CometAPI Models page.

​
Relaterte ressurser