cometapi provider die CometAPI aanroept via OpenAI-compatibele endpoints.
Vereisten
- Node.js 18+
- Promptfoo lokaal geïnstalleerd of uitgevoerd via
npx - Een CometAPI-account met een actieve API key — haal die op in het dashboard
- Een model ID van de CometAPI Models-pagina
Configureer de integratie
1
Stel je CometAPI API key in
Stel
COMETAPI_KEY in voordat je evaluaties uitvoert:2
Kies een providerindeling
Promptfoo gebruikt de volgende provider ID-indeling voor CometAPI:Gebruik deze providertypen:
Je kunt ook
cometapi:your-model-id gebruiken voor de standaard chatmodus.3
Voer een CLI-evaluatie uit
De volgende opdracht voert een chat-evaluatie met één prompt uit:
4
Maak een Promptfoo-configuratiebestand
Het volgende Voer het configuratiebestand uit met Promptfoo:
promptfooconfig.yaml evalueert dezelfde prompt tegen een CometAPI-model:Providervoorbeelden
Gebruik een providertype dat overeenkomt met het modelgedrag dat je wilt evalueren:chat en geef je afbeeldingsvariabelen door via Promptfoo-testvariabelen.
Problemen oplossen
Promptfoo kan de API key niet vinden
Promptfoo kan de API key niet vinden
Controleer of
COMETAPI_KEY is geëxporteerd in dezelfde shellsessie waarin promptfoo eval wordt uitgevoerd.Het providertype komt niet overeen met het model
Het providertype komt niet overeen met het model
Gebruik
chat voor conversationele en multimodal modellen, embedding voor embedding-modellen en image voor modellen voor beeldgeneratie.Het model ID werkt niet
Het model ID werkt niet
Vervang
your-model-id door een exact model ID van de CometAPI Models-pagina.