Chuyển đến nội dung chính

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

Thêm model fallback bằng cách giữ một danh sách nhỏ các model ID đã được sắp xếp trong ứng dụng của bạn và chỉ thử model tiếp theo khi lỗi có thể retry hoặc là lỗi riêng của model. Không retry các request bị sai định dạng; hãy sửa các lỗi 400, 401, và invalid request trước khi gọi model khác.

Triển khai fallback theo thứ tự

Ví dụ Python sau thử các model ID theo thứ tự và dừng lại với các lỗi không thể retry:
import os
import time
from openai import OpenAI, APIError, RateLimitError

client = OpenAI(
    api_key=os.environ["COMETAPI_KEY"],
    base_url="https://api.cometapi.com/v1",
)

models = ["your-primary-model-id", "your-fallback-model-id"]

for model in models:
    try:
        completion = client.chat.completions.create(
            model=model,
            messages=[
                {
                    "role": "user",
                    "content": "Summarize CometAPI in one sentence.",
                }
            ],
        )
        print(completion.choices[0].message.content)
        break
    except RateLimitError:
        time.sleep(2)
        continue
    except APIError as error:
        status_code = getattr(error, "status_code", None)
        if status_code in {500, 503, 504, 524}:
            time.sleep(2)
            continue
        raise
else:
    raise RuntimeError("All configured model fallbacks failed.")
Phản hồi thành công sẽ đến từ model đầu tiên hoàn tất:
{
  "model": "your-fallback-model-id",
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "CometAPI gives developers one API surface for multiple model providers."
      }
    }
  ]
}

Chọn model fallback

Request sau liệt kê các model ID hiện có mà bạn có thể đánh giá để dùng cho fallback:
curl https://api.cometapi.com/api/models
Phản hồi chứa các bản ghi model:
{
  "success": true,
  "page": 0,
  "page_size": 0,
  "total": 301,
  "data": [
    {
      "id": "deepseek-v4-pro",
      "provider": "DeepSeek",
      "model_type": "text",
      "features": [
        "text-to-text"
      ],
      "pricing": {
        "currency": "USD / M Tokens",
        "input": 0.416,
        "output": 0.832,
        "per_request": null,
        "per_second": null
      },
      "api_doc_url": "https://apidoc.cometapi.com/api/text/chat"
    }
  ]
}

Các lỗi thường gặp

LỗiCách khắc phục
Fallback che giấu các request không hợp lệKhông fallback khi gặp lỗi 400, 401, hoặc invalid request.
Các model có định dạng đầu ra khác nhauChuẩn hóa phản hồi trong ứng dụng của bạn trước khi trả về cho người dùng.
Fallback làm tăng chi phíƯớc tính chi phí cho từng model trước khi thêm vào danh sách fallback.
Quá nhiều fallback song songHãy thử fallback theo tuần tự trừ khi sản phẩm của bạn cần chạy đua song song.

Liên kết liên quan

Last modified on May 28, 2026