Як оцінити вартість перед викликом моделі?

Оцініть вартість перед викликом моделі, поєднавши ціну з каталогу моделей з одиницями, за які endpoint виставляє рахунок: tokens, images, тривалість audio або video tasks. Сприймайте таку оцінку як контроль бюджету, а після завершення запиту використовуйте фактичні дані про usage і записи billing.

Оцінка викликів на основі token

Наведений нижче приклад Python оцінює вартість запиту на основі token із налаштованих значень цін:

import math
import os

prompt = "Write a short product description for CometAPI."
max_output_tokens = 200

input_price_per_1m = float(os.environ["MODEL_INPUT_PRICE_PER_1M"])
output_price_per_1m = float(os.environ["MODEL_OUTPUT_PRICE_PER_1M"])

estimated_input_tokens = math.ceil(len(prompt) / 4)

estimated_cost = (
    estimated_input_tokens * input_price_per_1m
    + max_output_tokens * output_price_per_1m
) / 1_000_000

print(f"Estimated maximum cost: ${estimated_cost:.6f}")

Результат є оцінкою до виклику:

Estimated maximum cost: $0.000123

Встановлення максимального бюджету виходу

Наведений нижче запит обмежує згенерований вихід, щоб оцінка мала верхню межу:

curl https://api.cometapi.com/v1/chat/completions \
  -H "Authorization: Bearer $COMETAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "your-model-id",
    "messages": [
      {
        "role": "user",
        "content": "Write a short product description for CometAPI."
      }
    ],
    "max_completion_tokens": 200
  }'

Відповідь містить фактичне usage після виклику моделі:

{
  "usage": {
    "prompt_tokens": 10,
    "completion_tokens": 42,
    "total_tokens": 52
  }
}

Оцінка викликів на основі задач

Наведений нижче приклад JavaScript оцінює workflow на основі задач, наприклад генерацію image або video:

const taskCount = 3;
const pricePerTask = Number(process.env.MODEL_PRICE_PER_TASK);

const estimatedCost = taskCount * pricePerTask;

console.log(`Estimated maximum cost: $${estimatedCost.toFixed(4)}`);

Результат — це бюджет задачі:

Estimated maximum cost: $0.4500

Поширені помилки

Помилка	Виправлення
Використання ціни не тієї моделі	Скопіюйте ціну з того самого model ID у каталозі моделей.
Ігнорування output token	Встановіть `max_completion_tokens` або специфічний для endpoint ліміт виходу.
Сприйняття оцінок як рахунків	Порівнюйте оцінки з фактичним usage після виклику.
Відсутні множники задач	Для image, audio і video перевірте, чи виставлення рахунку відбувається за задачу, за секунду чи за згенерований asset.

Documentation Index

​Оцінка викликів на основі token

​Встановлення максимального бюджету виходу

​Оцінка викликів на основі задач

​Поширені помилки

​Пов’язані посилання

Оцінка викликів на основі token

Встановлення максимального бюджету виходу

Оцінка викликів на основі задач

Поширені помилки

Пов’язані посилання