Documentation Index
Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt
Use this file to discover all available pages before exploring further.
Thêm model fallback bằng cách giữ một danh sách nhỏ các model ID đã được sắp xếp trong ứng dụng của bạn và chỉ thử model tiếp theo khi lỗi có thể retry hoặc là lỗi riêng của model. Không retry các request bị sai định dạng; hãy sửa các lỗi 400, 401, và invalid request trước khi gọi model khác.
Triển khai fallback theo thứ tự
Ví dụ Python sau thử các model ID theo thứ tự và dừng lại với các lỗi không thể retry:
import os
import time
from openai import OpenAI, APIError, RateLimitError
client = OpenAI(
api_key=os.environ["COMETAPI_KEY"],
base_url="https://api.cometapi.com/v1",
)
models = ["your-primary-model-id", "your-fallback-model-id"]
for model in models:
try:
completion = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Summarize CometAPI in one sentence.",
}
],
)
print(completion.choices[0].message.content)
break
except RateLimitError:
time.sleep(2)
continue
except APIError as error:
status_code = getattr(error, "status_code", None)
if status_code in {500, 503, 504, 524}:
time.sleep(2)
continue
raise
else:
raise RuntimeError("All configured model fallbacks failed.")
Phản hồi thành công sẽ đến từ model đầu tiên hoàn tất:
{
"model": "your-fallback-model-id",
"choices": [
{
"message": {
"role": "assistant",
"content": "CometAPI gives developers one API surface for multiple model providers."
}
}
]
}
Chọn model fallback
Request sau liệt kê các model ID hiện có mà bạn có thể đánh giá để dùng cho fallback:
curl https://api.cometapi.com/api/models
Phản hồi chứa các bản ghi model:
{
"success": true,
"page": 0,
"page_size": 0,
"total": 301,
"data": [
{
"id": "deepseek-v4-pro",
"provider": "DeepSeek",
"model_type": "text",
"features": [
"text-to-text"
],
"pricing": {
"currency": "USD / M Tokens",
"input": 0.416,
"output": 0.832,
"per_request": null,
"per_second": null
},
"api_doc_url": "https://apidoc.cometapi.com/api/text/chat"
}
]
}
Các lỗi thường gặp
| Lỗi | Cách khắc phục |
|---|
| Fallback che giấu các request không hợp lệ | Không fallback khi gặp lỗi 400, 401, hoặc invalid request. |
| Các model có định dạng đầu ra khác nhau | Chuẩn hóa phản hồi trong ứng dụng của bạn trước khi trả về cho người dùng. |
| Fallback làm tăng chi phí | Ước tính chi phí cho từng model trước khi thêm vào danh sách fallback. |
| Quá nhiều fallback song song | Hãy thử fallback theo tuần tự trừ khi sản phẩm của bạn cần chạy đua song song. |
Liên kết liên quan