Documentation Index
Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt
Use this file to discover all available pages before exploring further.
Fügen Sie model fallback hinzu, indem Sie in Ihrer App eine kleine geordnete Liste von model IDs verwalten und das nächste Modell nur dann ausprobieren, wenn der Fehler erneut versuchbar oder modellspezifisch ist. Versuchen Sie fehlerhafte Anfragen nicht erneut; beheben Sie 400, 401 und Fehler durch ungültige Anfragen, bevor Sie ein anderes Modell aufrufen.
Geordnete Fallbacks implementieren
Das folgende Python-Beispiel probiert model IDs der Reihe nach aus und stoppt bei nicht erneut versuchbaren Fehlern:
import os
import time
from openai import OpenAI, APIError, RateLimitError
client = OpenAI(
api_key=os.environ["COMETAPI_KEY"],
base_url="https://api.cometapi.com/v1",
)
models = ["your-primary-model-id", "your-fallback-model-id"]
for model in models:
try:
completion = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Summarize CometAPI in one sentence.",
}
],
)
print(completion.choices[0].message.content)
break
except RateLimitError:
time.sleep(2)
continue
except APIError as error:
status_code = getattr(error, "status_code", None)
if status_code in {500, 503, 504, 524}:
time.sleep(2)
continue
raise
else:
raise RuntimeError("All configured model fallbacks failed.")
{
"model": "your-fallback-model-id",
"choices": [
{
"message": {
"role": "assistant",
"content": "CometAPI gives developers one API surface for multiple model providers."
}
}
]
}
Fallback-Modelle auswählen
Die folgende Anfrage listet verfügbare model IDs auf, die Sie für Fallback evaluieren können:
curl https://api.cometapi.com/api/models
{
"success": true,
"page": 0,
"page_size": 0,
"total": 301,
"data": [
{
"id": "deepseek-v4-pro",
"provider": "DeepSeek",
"model_type": "text",
"features": [
"text-to-text"
],
"pricing": {
"currency": "USD / M Tokens",
"input": 0.416,
"output": 0.832,
"per_request": null,
"per_second": null
},
"api_doc_url": "https://apidoc.cometapi.com/api/text/chat"
}
]
}
Häufige Fehler
| Fehler | Behebung |
|---|
| Fallback verbirgt ungültige Anfragen | Verwenden Sie keinen Fallback bei 400, 401 oder Fehlern durch ungültige Anfragen. |
| Modelle haben unterschiedliche Ausgabeformate | Normalisieren Sie die Antwort in Ihrer App, bevor Sie sie an Benutzer zurückgeben. |
| Fallback erhöht die Kosten | Schätzen Sie die Kosten für jedes Modell, bevor Sie es der Fallback-Liste hinzufügen. |
| Zu viele parallele Fallbacks | Probieren Sie Fallbacks nacheinander aus, es sei denn, Ihr Produkt erfordert paralleles Racing. |
Verwandte Links
