Bruk Promptfoo med CometAPI

Promptfoo er et rammeverk for evaluering av Prompt, regresjonstesting og AI red teaming. Promptfoo inkluderer en cometapi-leverandør som kaller CometAPI gjennom OpenAI-kompatible endepunkter.

Forutsetninger

Node.js 18+
Promptfoo installert lokalt eller kjørt via npx
En CometAPI-konto med en aktiv API-nøkkel — hent din i dashbordet
En model ID fra CometAPI Models page

Konfigurer integrasjonen

Angi CometAPI API-nøkkelen din

Angi COMETAPI_KEY før du kjører evalueringer:

read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY

Velg et leverandørformat

Promptfoo bruker følgende leverandør-ID-format for CometAPI:

providers:
  - cometapi:<type>:<model>

Bruk disse leverandørtypene:

Type	Bruksområde
`chat`	Chat completions, vision og multimodale Prompts
`completion`	Tekstfullføringsmodeller
`embedding`	Evalueringer av tekstinnbygging
`image`	Evalueringer av bildegenerering

Du kan også bruke cometapi:your-model-id for standard chat-modus.

Kjør en CLI-evaluering

Følgende kommando kjører en chat-evaluering med én Prompt:

npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id

Opprett en Promptfoo-konfigurasjonsfil

Følgende promptfooconfig.yaml evaluerer den samme Prompten mot en CometAPI-modell:

prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration

Kjør konfigurasjonsfilen med Promptfoo:

npx promptfoo@latest eval -c promptfooconfig.yaml

Eksempler på leverandører

Bruk en leverandørtype som samsvarer med modellatferden du vil evaluere:

providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id

For multimodale tester, behold leverandørtypen chat og send bildevariabler gjennom Promptfoo-testvariabler.

Feilsøking

Promptfoo finner ikke API-nøkkelen

Bekreft at COMETAPI_KEY er eksportert i den samme shell-økten som kjører promptfoo eval.

Leverandørtypen samsvarer ikke med modellen

Bruk chat for samtalebaserte og multimodale modeller, embedding for embedding-modeller og image for modeller for bildegenerering.

Model ID mislykkes

Erstatt your-model-id med en nøyaktig model ID fra CometAPI Models page.

Relaterte ressurser

Sist endret 2. juli 2026

Oversikt

AI-kodeagenter

AI-agenter

AI-chatklienter

Oversettelse og språk

Automatiseringsplattformer

Observerbarhet og evaluering

AI-rammeverk

Forutsetninger

Konfigurer integrasjonen

Eksempler på leverandører

Feilsøking

Relaterte ressurser

​Forutsetninger

​Konfigurer integrasjonen

​Eksempler på leverandører

​Feilsøking

​Relaterte ressurser

Forutsetninger

Konfigurer integrasjonen

Eksempler på leverandører

Feilsøking

Relaterte ressurser