메인 콘텐츠로 건너뛰기

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Promptfoo는 프롬프트 평가, 회귀 테스트, AI 레드팀을 위한 프레임워크입니다. Promptfoo에는 OpenAI 호환 엔드포인트를 통해 CometAPI를 호출하는 cometapi provider가 포함되어 있습니다.

​
사전 요구 사항

​
통합 구성하기

1

CometAPI API 키 설정

평가를 실행하기 전에 COMETAPI_KEY를 설정하세요:
read -rsp "CometAPI API key: " COMETAPI_KEY
printf '\n'
export COMETAPI_KEY
2

provider 형식 선택

Promptfoo는 CometAPI에 대해 다음 provider ID 형식을 사용합니다:
providers:
  - cometapi:<type>:<model>
다음 provider type을 사용하세요:
Type사용 사례
chat채팅 완성, 비전, 멀티모달 프롬프트
completion텍스트 완성 모델
embedding텍스트 임베딩 평가
image이미지 생성 평가
기본 채팅 모드에는 cometapi:your-model-id도 사용할 수 있습니다.
3

CLI 평가 실행

다음 명령은 단일 프롬프트 채팅 평가를 실행합니다:
npx promptfoo@latest eval \
  --prompts "Write a concise release note for {{feature}}" \
  --vars feature="a unified API dashboard" \
  -r cometapi:chat:your-model-id
4

Promptfoo 구성 파일 만들기

다음 promptfooconfig.yaml은 동일한 프롬프트를 CometAPI 모델에 대해 평가합니다:
prompts:
  - "Classify this support request: {{message}}"

providers:
  - id: cometapi:chat:your-model-id
    config:
      temperature: 0.2
      max_tokens: 256

tests:
  - vars:
      message: "The API key works locally but fails in production."
    assert:
      - type: contains-any
        value:
          - authentication
          - configuration
Promptfoo로 구성 파일을 실행하세요:
npx promptfoo@latest eval -c promptfooconfig.yaml

​
Provider 예시

평가하려는 모델 동작에 맞는 provider type을 사용하세요: 
providers:
  - cometapi:chat:your-model-id
  - cometapi:completion:your-model-id
  - cometapi:embedding:your-model-id
  - cometapi:image:your-model-id
멀티모달 테스트의 경우 chat provider type을 유지하고 Promptfoo 테스트 변수로 이미지 변수를 전달하세요.

​
문제 해결

promptfoo eval을 실행하는 동일한 셸 세션에서 COMETAPI_KEY가 export되어 있는지 확인하세요.
대화형 및 멀티모달 모델에는 chat, 임베딩 모델에는 embedding, 이미지 생성 모델에는 image를 사용하세요.
your-model-id를 CometAPI Models 페이지의 정확한 model ID로 바꾸세요.

​
관련 리소스