Chat Completions - CometAPI Documentation

POST

chat

completions

from openai import OpenAI
client = OpenAI(
    base_url="https://api.cometapi.com/v1",
    api_key="<COMETAPI_KEY>",
)

completion = client.chat.completions.create(
    model="gpt-5.4",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello!"},
    ],
)

print(completion.choices[0].message)

{
  "id": "chatcmpl-DNA27oKtBUL8TmbGpBM3B3zhWgYfZ",
  "object": "chat.completion",
  "created": 1774412483,
  "model": "gpt-4.1-nano-2025-04-14",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Four",
        "refusal": null,
        "annotations": []
      },
      "logprobs": null,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 29,
    "completion_tokens": 2,
    "total_tokens": 31,
    "prompt_tokens_details": {
      "cached_tokens": 0,
      "audio_tokens": 0
    },
    "completion_tokens_details": {
      "reasoning_tokens": 0,
      "audio_tokens": 0,
      "accepted_prediction_tokens": 0,
      "rejected_prediction_tokens": 0
    }
  },
  "service_tier": "default",
  "system_fingerprint": "fp_490a4ad033"
}

CometAPI leitet Chat Completions über eine einzige OpenAI-kompatible Schnittstelle an mehrere Anbieter weiter — darunter OpenAI, Claude und Gemini. Wechseln Sie zwischen Modellen, indem Sie den Parameter model ändern; die meisten OpenAI-kompatiblen SDKs funktionieren, wenn base_url auf https://api.cometapi.com/v1 gesetzt wird.

Verschiedene Modelle unterstützen unterschiedliche Teilmengen von Parametern und geben leicht unterschiedliche Antwortfelder zurück. Zum Beispiel gilt reasoning_effort nur für Reasoning-Modelle (o-series, GPT-5.1+), und einige Modelle unterstützen logprobs oder n > 1 nicht.

Verwenden Sie für OpenAI Pro-Modelle, o-series-Reasoning-Modelle und Codex-Modelle stattdessen den Endpunkt Responses. Diese Modellfamilien werden in der Responses API vollständiger unterstützt.

Nachrichtenrollen

Role	Description
`system`	Legt das Verhalten und die Persönlichkeit des Assistenten fest. Wird am Anfang der Unterhaltung platziert.
`developer`	Ersetzt `system` für neuere Modelle (o1+). Stellt Anweisungen bereit, denen das Modell unabhängig von der Benutzereingabe folgen soll.
`user`	Nachrichten vom Endbenutzer.
`assistant`	Frühere Modellantworten, die verwendet werden, um den Unterhaltungsverlauf beizubehalten.
`tool`	Ergebnisse aus Tool-/Function-Calling-Aufrufen. Muss `tool_call_id` enthalten, das dem ursprünglichen Tool-Aufruf entspricht.

Für neuere Modelle (GPT-4.1, GPT-5 series, o-series) sollten Sie für Anweisungsnachrichten developer gegenüber system bevorzugen. Beide funktionieren, aber developer sorgt für ein stärkeres Befolgen von Anweisungen.

Multimodal input senden

Viele Modelle unterstützen Bilder und Audio neben Text. Um Multimodal-Nachrichten zu senden, verwenden Sie das Array-Format für content:

{
  "role": "user",
  "content": [
    {"type": "text", "text": "Describe this image"},
    {
      "type": "image_url",
      "image_url": {
        "url": "https://example.com/image.png",
        "detail": "high"
      }
    }
  ]
}

Der Parameter detail steuert die Tiefe der Bildanalyse:

low — schneller, verwendet weniger Tokens (feste Kosten)
high — detaillierte Analyse, mehr Tokens werden verbraucht
auto — das Modell entscheidet (Standard)

Responses streamen

Um inkrementelle Ausgaben zu erhalten, setzen Sie stream auf true. Die Antwort wird als Server-Sent Events (SSE) übermittelt, wobei jedes Event ein Objekt vom Typ chat.completion.chunk enthält:

data: {"id":"chatcmpl-xxx","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"},"finish_reason":null}]}

data: {"id":"chatcmpl-xxx","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hello"},"finish_reason":null}]}

data: {"id":"chatcmpl-xxx","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"!"},"finish_reason":null}]}

data: {"id":"chatcmpl-xxx","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

Um Token-Nutzungsstatistiken in Streaming-Antworten einzuschließen, setzen Sie stream_options.include_usage auf true. Die Nutzungsdaten erscheinen im letzten Chunk vor [DONE].

Strukturierte Ausgabe anfordern

Um das Modell zu zwingen, gültiges JSON zurückzugeben, das einem bestimmten Schema entspricht, verwenden Sie response_format:

{
  "response_format": {
    "type": "json_schema",
    "json_schema": {
      "name": "result",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "answer": {"type": "string"},
          "confidence": {"type": "number"}
        },
        "required": ["answer", "confidence"],
        "additionalProperties": false
      }
    }
  }
}

Der JSON Schema-Modus (json_schema) garantiert, dass die Ausgabe Ihrem Schema exakt entspricht. Der JSON Object-Modus (json_object) garantiert nur gültiges JSON — die Struktur wird nicht erzwungen.

Tools und Funktionen aufrufen

Um dem Modell zu ermöglichen, externe Funktionen aufzurufen, stellen Sie Tool-Definitionen bereit:

{
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get current weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "location": {"type": "string", "description": "City name"}
          },
          "required": ["location"]
        }
      }
    }
  ],
  "tool_choice": "auto"
}

Wenn das Modell entscheidet, ein Tool aufzurufen, enthält die Antwort finish_reason: "tool_calls" und das Array message.tool_calls enthält den Funktionsnamen und die Argumente. Anschließend führen Sie die Funktion aus und senden das Ergebnis als tool-Nachricht mit der passenden tool_call_id zurück.

Anbieterübergreifende Hinweise

Parameterunterstützung bei verschiedenen Anbietern

Parameter	OpenAI GPT	Claude (via compat)	Gemini (via compat)
`temperature`	0–2	0–1	0–2
`top_p`	0–1	0–1	0–1
`n`	1–128	nur 1	1–8
`stop`	Bis zu 4	Bis zu 4	Bis zu 5
`tools`	✅	✅	✅
`response_format`	✅	✅ (json_schema)	✅
`logprobs`	✅	❌	❌
`reasoning_effort`	o-series, GPT-5.1+	❌	❌ (verwenden Sie `thinking` für Gemini nativ)

max_tokens vs max_completion_tokens

max_tokens — Der alte Parameter. Funktioniert mit den meisten Modellen, ist für neuere OpenAI-Modelle jedoch veraltet.
max_completion_tokens — Der empfohlene Parameter für GPT-4.1-, GPT-5-series- und o-series-Modelle. Erforderlich für reasoning-Modelle, da er sowohl output tokens als auch reasoning tokens umfasst.

CometAPI übernimmt das Mapping automatisch, wenn an verschiedene Anbieter weitergeleitet wird.

system vs developer role

system — Die traditionelle Anweisungsrolle. Funktioniert mit allen Modellen.
developer — Eingeführt mit o1-Modellen. Bietet bei neueren Modellen eine stärkere Befolgung von Anweisungen. Fällt bei älteren Modellen auf das Verhalten von system zurück.

Verwenden Sie developer für neue Projekte, die auf GPT-4.1+ oder o-series-Modelle abzielen.

FAQ

Wie geht man mit Rate Limits um?

Wenn 429 Too Many Requests auftritt, implementieren Sie exponentielles Backoff:

import time
import random
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.cometapi.com/v1",
    api_key="<COMETAPI_KEY>",
)

def chat_with_retry(messages, max_retries=3):
    for i in range(max_retries):
        try:
            return client.chat.completions.create(
                model="gpt-5.4",
                messages=messages,
            )
        except RateLimitError:
            if i < max_retries - 1:
                wait_time = (2 ** i) + random.random()
                time.sleep(wait_time)
            else:
                raise

Wie hält man den Unterhaltungskontext aufrecht?

Schließen Sie den vollständigen Gesprächsverlauf in das Array messages ein:

messages = [
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is Python?"},
    {"role": "assistant", "content": "Python is a high-level programming language..."},
    {"role": "user", "content": "What are its main advantages?"},
]

Was bedeutet `finish_reason`?

Value	Bedeutung
`stop`	Natürlicher Abschluss oder eine Stop-Sequenz wurde erreicht.
`length`	Das Limit für `max_tokens` oder `max_completion_tokens` wurde erreicht.
`tool_calls`	Das model hat einen oder mehrere Tool-/Funktionsaufrufe ausgelöst.
`content_filter`	Die Ausgabe wurde aufgrund der Content-Richtlinie gefiltert.

Wie kontrolliert man die Kosten?

Verwenden Sie max_completion_tokens, um die Ausgabelänge zu begrenzen.
Wählen Sie kosteneffiziente Modelle (z. B. gpt-5.4-mini oder gpt-5.4-nano für einfachere Aufgaben).
Halten Sie Prompts knapp — vermeiden Sie redundanten Kontext.
Überwachen Sie die Token-Nutzung im Antwortfeld usage.

Autorisierungen

Authorization

string

header

erforderlich

Bearer token authentication. Use your CometAPI key.

Body

application/json

model

string

Standard:gpt-5.4

erforderlich

Model ID to use for this request. See the Models page for current options.

Beispiel:

"gpt-4.1"

messages

object[]

erforderlich

A list of messages forming the conversation. Each message has a role (system, user, assistant, or developer) and content (text string or multimodal content array).

Show child attributes

stream

boolean

If true, partial response tokens are delivered incrementally via server-sent events (SSE). The stream ends with a data: [DONE] message.

temperature

number

Standard:1

Sampling temperature between 0 and 2. Higher values (e.g., 0.8) produce more random output; lower values (e.g., 0.2) make output more focused and deterministic. Recommended to adjust this or top_p, but not both.

Erforderlicher Bereich: 0 <= x <= 2

top_p

number

Standard:1

Nucleus sampling parameter. The model considers only the tokens whose cumulative probability reaches top_p. For example, 0.1 means only the top 10% probability tokens are considered. Recommended to adjust this or temperature, but not both.

Erforderlicher Bereich: 0 <= x <= 1

integer

Standard:1

Number of completion choices to generate for each input message. Defaults to 1.

stop

string

Up to 4 sequences where the API will stop generating further tokens. Can be a string or an array of strings.

max_tokens

integer

Maximum number of tokens to generate in the completion. The total of input + output tokens is capped by the model's context length.

presence_penalty

number

Standard:0

Number between -2.0 and 2.0. Positive values penalize tokens based on whether they have already appeared, encouraging the model to explore new topics.

Erforderlicher Bereich: -2 <= x <= 2

frequency_penalty

number

Standard:0

Number between -2.0 and 2.0. Positive values penalize tokens proportionally to how often they have appeared, reducing verbatim repetition.

Erforderlicher Bereich: -2 <= x <= 2

logit_bias

object

A JSON object mapping token IDs to bias values from -100 to 100. The bias is added to the model's logits before sampling. Values between -1 and 1 subtly adjust likelihood; -100 or 100 effectively ban or force selection of a token.

user

string

A unique identifier for your end-user. Helps with abuse detection and monitoring.

max_completion_tokens

integer

An upper bound for the number of tokens to generate, including visible output tokens and reasoning tokens. Use this instead of max_tokens for GPT-4.1+, GPT-5 series, and o-series models.

response_format

object

Specifies the output format. Use {"type": "json_object"} for JSON mode, or {"type": "json_schema", "json_schema": {...}} for strict structured output.

Show child attributes

tools

object[]

A list of tools the model may call. Currently supports function type tools.

Show child attributes

tool_choice

Standard:auto

Controls how the model selects tools. auto (default): model decides. none: no tools. required: must call a tool.

logprobs

boolean

Standard:false

Whether to return log probabilities of the output tokens.

top_logprobs

integer

Number of most likely tokens to return at each position (0-20). Requires logprobs to be true.

Erforderlicher Bereich: 0 <= x <= 20

reasoning_effort

enum<string>

Controls the reasoning effort for o-series and GPT-5.1+ models.

Verfügbare Optionen:

low,

medium,

high

stream_options

object

Options for streaming. Only valid when stream is true.

Show child attributes

service_tier

enum<string>

Specifies the processing tier.

Verfügbare Optionen:

auto,

default,

flex,

priority

Antwort

Successful chat completion response.

string

Unique completion identifier.

Beispiel:

"chatcmpl-abc123"

object

enum<string>

Verfügbare Optionen:

chat.completion

Beispiel:

"chat.completion"

created

integer

Unix timestamp of creation.

Beispiel:

1774412483

model

string

The model used (may include version suffix).

Beispiel:

"gpt-5.4-2025-07-16"

choices

object[]

Array of completion choices.

Show child attributes

usage

object

Show child attributes

service_tier

string

Beispiel:

"default"

system_fingerprint

string | null

Beispiel:

"fp_490a4ad033"

Responses

Weiter

from openai import OpenAI
client = OpenAI(
    base_url="https://api.cometapi.com/v1",
    api_key="<COMETAPI_KEY>",
)

completion = client.chat.completions.create(
    model="gpt-5.4",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello!"},
    ],
)

print(completion.choices[0].message)

{
  "id": "chatcmpl-DNA27oKtBUL8TmbGpBM3B3zhWgYfZ",
  "object": "chat.completion",
  "created": 1774412483,
  "model": "gpt-4.1-nano-2025-04-14",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Four",
        "refusal": null,
        "annotations": []
      },
      "logprobs": null,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 29,
    "completion_tokens": 2,
    "total_tokens": 31,
    "prompt_tokens_details": {
      "cached_tokens": 0,
      "audio_tokens": 0
    },
    "completion_tokens_details": {
      "reasoning_tokens": 0,
      "audio_tokens": 0,
      "accepted_prediction_tokens": 0,
      "rejected_prediction_tokens": 0
    }
  },
  "service_tier": "default",
  "system_fingerprint": "fp_490a4ad033"
}

Documentation Index

​Nachrichtenrollen

​Multimodal input senden

​Responses streamen

​Strukturierte Ausgabe anfordern

​Tools und Funktionen aufrufen

​Anbieterübergreifende Hinweise

​FAQ

​Wie geht man mit Rate Limits um?

​Wie hält man den Unterhaltungskontext aufrecht?

​Was bedeutet finish_reason?

​Wie kontrolliert man die Kosten?

Autorisierungen

Body

Antwort

Nachrichtenrollen

Multimodal input senden

Responses streamen

Strukturierte Ausgabe anfordern

Tools und Funktionen aufrufen

Anbieterübergreifende Hinweise

FAQ

Wie geht man mit Rate Limits um?

Wie hält man den Unterhaltungskontext aufrecht?

Was bedeutet `finish_reason`?

Wie kontrolliert man die Kosten?