Bagaimana cara menangani kode error dan retry dengan CometAPI?

Tangani error CometAPI dengan menentukan apakah request perlu diperbaiki atau di-retry. Retry 429, kegagalan kelas timeout, dan kegagalan server sementara dengan backoff; jangan retry request yang malformed atau kegagalan autentikasi.

Retry hanya kegagalan yang bisa di-retry

Status atau sinyal	Coba lagi?	Tindakan
`400`	Tidak	Perbaiki body request atau parameter.
`401`	Tidak	Perbaiki API key dan header `Authorization`.
`403`	Biasanya tidak	Hapus field yang tidak didukung dan verifikasi akses model.
`429`	Ya	Retry dengan exponential backoff dan jitter.
`500` dengan `invalid_request`	Tidak	Perbaiki bentuk request.
`500`, `503`, `504`, `524`	Ya	Retry dengan backoff dan simpan request ID.

Tambahkan backoff

Contoh Python berikut hanya me-retry kegagalan yang bisa di-retry:

import os
import random
import time
from openai import APIError, OpenAI, RateLimitError

client = OpenAI(
    api_key=os.environ["COMETAPI_KEY"],
    base_url="https://api.cometapi.com/v1",
)

for attempt in range(5):
    try:
        response = client.chat.completions.create(
            model="your-model-id",
            messages=[{"role": "user", "content": "Say hello."}],
        )
        print(response.choices[0].message.content)
        break
    except RateLimitError:
        delay = min(30, 2**attempt) + random.random()
        time.sleep(delay)
    except APIError as error:
        status_code = getattr(error, "status_code", None)
        if status_code in {500, 503, 504, 524}:
            delay = min(30, 2**attempt) + random.random()
            time.sleep(delay)
            continue
        raise
else:
    raise RuntimeError("The request failed after retries.")

Respons yang berhasil mencakup output model:

{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "Hello."
      }
    }
  ],
  "usage": {
    "total_tokens": 9
  }
}

Catat konteks yang berguna

Bentuk JSON berikut aman untuk disimpan setelah Anda menghapus rahasia pengguna dan file berukuran besar:

{
  "method": "POST",
  "path": "/v1/chat/completions",
  "model": "your-model-id",
  "status": 429,
  "request_id": "request_id_from_error_message",
  "retryable": true
}

Error umum

Kesalahan	Perbaikan
Retry `401`	Hentikan retry lalu rotasi atau muat ulang API key.
Retry JSON yang tidak valid	Validasi body request sebelum mengirim request lain.
Tidak ada request ID di log	Tangkap body error yang tepat sebelum SDK Anda membungkusnya.
Retry langsung setelah `429`	Tambahkan jitter dan kurangi concurrency.

Documentation Index

​Retry hanya kegagalan yang bisa di-retry

​Tambahkan backoff

​Catat konteks yang berguna

​Error umum

​Tautan terkait

Retry hanya kegagalan yang bisa di-retry

Tambahkan backoff

Catat konteks yang berguna

Error umum

Tautan terkait