Documentation Index
Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt
Use this file to discover all available pages before exploring further.
Voeg model fallback toe door in je app een kleine geordende lijst met model IDs bij te houden en pas het volgende model te proberen wanneer de fout retryable of modelspecifiek is. Probeer misvormde requests niet opnieuw; los 400, 401 en invalid request-fouten op voordat je een ander model aanroept.
Implementeer geordende fallback
Het volgende Python-voorbeeld probeert model IDs op volgorde en stopt bij niet-retryable fouten:
import os
import time
from openai import OpenAI, APIError, RateLimitError
client = OpenAI(
api_key=os.environ["COMETAPI_KEY"],
base_url="https://api.cometapi.com/v1",
)
models = ["your-primary-model-id", "your-fallback-model-id"]
for model in models:
try:
completion = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Summarize CometAPI in one sentence.",
}
],
)
print(completion.choices[0].message.content)
break
except RateLimitError:
time.sleep(2)
continue
except APIError as error:
status_code = getattr(error, "status_code", None)
if status_code in {500, 503, 504, 524}:
time.sleep(2)
continue
raise
else:
raise RuntimeError("All configured model fallbacks failed.")
{
"model": "your-fallback-model-id",
"choices": [
{
"message": {
"role": "assistant",
"content": "CometAPI gives developers one API surface for multiple model providers."
}
}
]
}
Kies fallback-modellen
De volgende request geeft beschikbare model IDs weer die je kunt evalueren voor fallback:
curl https://api.cometapi.com/api/models
{
"success": true,
"page": 0,
"page_size": 0,
"total": 301,
"data": [
{
"id": "deepseek-v4-pro",
"provider": "DeepSeek",
"model_type": "text",
"features": [
"text-to-text"
],
"pricing": {
"currency": "USD / M Tokens",
"input": 0.416,
"output": 0.832,
"per_request": null,
"per_second": null
},
"api_doc_url": "https://apidoc.cometapi.com/api/text/chat"
}
]
}
Veelvoorkomende fouten
| Fout | Oplossing |
|---|
| Fallback verbergt ongeldige requests | Gebruik geen fallback bij 400, 401 of invalid request-fouten. |
| Modellen hebben verschillende outputformaten | Normaliseer de response in je app voordat je die aan gebruikers teruggeeft. |
| Fallback verhoogt de kosten | Schat de kosten voor elk model voordat je het toevoegt aan de fallback-lijst. |
| Te veel parallelle fallbacks | Probeer fallbacks sequentieel, tenzij je product parallel racing vereist. |
Gerelateerde links
