CometAPI와 함께 Promptfoo 사용하기

Promptfoo는 프롬프트 평가, 회귀 테스트, AI 레드 팀 구성을 위한 프레임워크입니다. Promptfoo에는 OpenAI 호환 엔드포인트를 통해 CometAPI를 호출하는 cometapi provider가 포함되어 있습니다.

사전 요구 사항

Node.js 18+
로컬에 설치된 Promptfoo 또는 npx를 통해 실행
활성 API key가 있는 CometAPI 계정 — 대시보드에서 발급받기
CometAPI Models 페이지의 model ID

통합 구성하기

CometAPI API key 설정

평가를 실행하기 전에 COMETAPI_KEY를 설정하세요:

read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY

provider 형식 선택

Promptfoo는 CometAPI에 대해 다음 provider ID 형식을 사용합니다:

providers:
  - cometapi:<type>:<model>

다음 provider type을 사용하세요:

Type	사용 사례
`chat`	채팅 완성, 비전, 멀티모달(Multimodal) 프롬프트
`completion`	텍스트 완성 모델
`embedding`	텍스트 임베딩 평가
`image`	이미지 생성 평가

기본 chat 모드에는 cometapi:your-model-id도 사용할 수 있습니다.

CLI 평가 실행

다음 명령은 단일 프롬프트 채팅 평가를 실행합니다:

npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id

Promptfoo 구성 파일 만들기

다음 promptfooconfig.yaml은 동일한 프롬프트를 CometAPI 모델에 대해 평가합니다:

prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration

Promptfoo로 구성 파일을 실행하세요:

npx promptfoo@latest eval -c promptfooconfig.yaml

provider 예시

평가하려는 모델 동작과 일치하는 provider type을 사용하세요:

providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id

멀티모달(Multimodal) 테스트의 경우 chat provider type을 유지하고 Promptfoo 테스트 변수로 이미지 변수를 전달하세요.

문제 해결

Promptfoo가 API key를 찾을 수 없습니다

promptfoo eval을 실행하는 동일한 셸 세션에서 COMETAPI_KEY가 export되었는지 확인하세요.

provider type이 모델과 일치하지 않습니다

대화형 및 멀티모달 모델에는 chat, 임베딩 모델에는 embedding, 이미지 생성 모델에는 image를 사용하세요.

model ID가 실패합니다

your-model-id를 CometAPI Models 페이지의 정확한 model ID로 바꾸세요.

개요

AI 코딩 에이전트

AI 에이전트

AI 채팅 클라이언트

번역 및 언어

자동화 플랫폼

관측성 및 평가

AI 프레임워크

CometAPI와 함께 Promptfoo 사용하기

사전 요구 사항

통합 구성하기

provider 예시

문제 해결

관련 리소스

​사전 요구 사항

​통합 구성하기

​provider 예시

​문제 해결

​관련 리소스

사전 요구 사항

통합 구성하기

provider 예시

문제 해결

관련 리소스