cometapi, który wywołuje CometAPI przez endpointy zgodne z OpenAI.
Wymagania wstępne
- Node.js 18+
- Promptfoo zainstalowany lokalnie lub uruchamiany przez
npx - Konto CometAPI z aktywnym kluczem API — pobierz go w panelu
- model ID ze strony CometAPI Models
Skonfiguruj integrację
1
Ustaw klucz API CometAPI
Ustaw
COMETAPI_KEY przed uruchomieniem ocen:2
Wybierz format provider
Promptfoo używa następującego formatu provider ID dla CometAPI:Użyj tych typów provider:
Możesz również użyć
cometapi:your-model-id dla domyślnego trybu chat.3
Uruchom ocenę z CLI
Następujące polecenie uruchamia ocenę chat z jednym promptem:
4
Utwórz plik konfiguracyjny Promptfoo
Następujący plik Uruchom plik konfiguracyjny za pomocą Promptfoo:
promptfooconfig.yaml ocenia ten sam prompt względem modelu CometAPI:Przykłady provider
Użyj typu provider, który odpowiada zachowaniu modelu, jakie chcesz ocenić:chat i przekazuj zmienne obrazów przez zmienne testowe Promptfoo.
Rozwiązywanie problemów
Promptfoo nie może znaleźć klucza API
Promptfoo nie może znaleźć klucza API
Potwierdź, że
COMETAPI_KEY jest wyeksportowany w tej samej sesji powłoki, w której uruchamiasz promptfoo eval.Typ provider nie pasuje do modelu
Typ provider nie pasuje do modelu
Użyj
chat dla modeli konwersacyjnych i multimodalnych, embedding dla modeli embedding, a image dla modeli generowania obrazów.model ID nie działa
model ID nie działa
Zastąp
your-model-id dokładnym model ID ze strony CometAPI Models.