Promptfoo mit CometAPI verwenden

Promptfoo ist ein Framework für Prompt-Auswertung, Regressionstests und AI-Red-Teaming. Promptfoo enthält einen cometapi-provider, der CometAPI über OpenAI-kompatible Endpunkte aufruft.

Voraussetzungen

Node.js 18+
Promptfoo lokal installiert oder über npx ausgeführt
Ein CometAPI-Konto mit einem aktiven API key — holen Sie sich Ihren im Dashboard
Eine model ID von der CometAPI Models-Seite

Integration konfigurieren

Legen Sie Ihren CometAPI API key fest

Setzen Sie COMETAPI_KEY, bevor Sie Auswertungen ausführen:

read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY

Wählen Sie ein provider-Format

Promptfoo verwendet das folgende provider-ID-Format für CometAPI:

providers:
  - cometapi:<type>:<model>

Verwenden Sie diese provider-Typen:

Type	Anwendungsfall
`chat`	Chat Completions, Vision- und Multimodal-Prompts
`completion`	Text-Completion-Modelle
`embedding`	Text-Embedding-Auswertungen
`image`	Bildgenerierungs-Auswertungen

Sie können auch cometapi:your-model-id für den standardmäßigen Chat-Modus verwenden.

Führen Sie eine CLI-Auswertung aus

Der folgende Befehl führt eine Chat-Auswertung mit einem einzelnen Prompt aus:

npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id

Erstellen Sie eine Promptfoo-Konfigurationsdatei

Die folgende promptfooconfig.yaml wertet denselben Prompt mit einem CometAPI-Modell aus:

prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration

Führen Sie die Konfigurationsdatei mit Promptfoo aus:

npx promptfoo@latest eval -c promptfooconfig.yaml

provider-Beispiele

Verwenden Sie einen provider-Typ, der zum Modellverhalten passt, das Sie auswerten möchten:

providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id

Für Multimodal-Tests behalten Sie den provider-Typ chat bei und übergeben Bildvariablen über Promptfoo-Testvariablen.

Fehlerbehebung

Promptfoo kann den API key nicht finden

Bestätigen Sie, dass COMETAPI_KEY in derselben Shell-Sitzung exportiert ist, in der promptfoo eval ausgeführt wird.

Der provider-Typ passt nicht zum Modell

Verwenden Sie chat für dialogorientierte und multimodale Modelle, embedding für Embedding-Modelle und image für Bildgenerierungs-Modelle.

Die model ID schlägt fehl

Ersetzen Sie your-model-id durch eine exakte model ID von der CometAPI Models-Seite.

Überblick

AI-Coding-Agenten

AI-Agenten

AI-Chat-Clients

Übersetzung und Sprache

Automatisierungsplattformen

Observability und Evaluierung

AI-Frameworks

Voraussetzungen

Integration konfigurieren

provider-Beispiele

Fehlerbehebung

Verwandte Ressourcen

​Voraussetzungen

​Integration konfigurieren

​provider-Beispiele

​Fehlerbehebung

​Verwandte Ressourcen

Voraussetzungen

Integration konfigurieren

provider-Beispiele

Fehlerbehebung

Verwandte Ressourcen