Przejdź do głównej treści

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo to framework do ewaluacji promptów, testów regresji i AI red teaming. Promptfoo zawiera provider cometapi, który wywołuje CometAPI przez endpointy zgodne z OpenAI.

​
Wymagania wstępne

​
Skonfiguruj integrację

1

Ustaw klucz API CometAPI

Ustaw COMETAPI_KEY, zanim uruchomisz ewaluacje:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

Wybierz format providera

Promptfoo używa dla CometAPI następującego formatu provider ID:
providers:
  - cometapi:<type>:<model>
Użyj tych typów providerów:
TypeUse case
chatChat completions, vision i prompty multimodalne
completionModele uzupełniania tekstu
embeddingEwaluacje embedding tekstu
imageEwaluacje generowania obrazów
Możesz też użyć cometapi:your-model-id dla domyślnego trybu chat.
3

Uruchom ewaluację w CLI

Następujące polecenie uruchamia jedno-promptową ewaluację chat:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Utwórz plik konfiguracyjny Promptfoo

Następujący plik promptfooconfig.yaml ewaluje ten sam prompt względem modelu CometAPI:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Uruchom plik konfiguracyjny za pomocą Promptfoo:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Przykłady providerów

Użyj typu providera, który odpowiada zachowaniu modelu, jakie chcesz ewaluować: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
W testach multimodalnych zachowaj typ providera chat i przekazuj zmienne obrazów przez zmienne testowe Promptfoo.

​
Rozwiązywanie problemów

Potwierdź, że COMETAPI_KEY jest wyeksportowany w tej samej sesji shella, w której uruchamiasz promptfoo eval.
Użyj chat dla modeli konwersacyjnych i multimodalnych, embedding dla modeli embedding, oraz image dla modeli generowania obrazów.
Zastąp your-model-id dokładnym model ID ze strony modeli CometAPI.

​
Powiązane materiały