Saltar para o conteúdo principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LiteLLM fornece uma API Python unificada para mais de 100 provedores de LLM. O CometAPI tem suporte nativo — use o prefixo cometapi/ para rotear solicitações pelo catálogo de modelos do CometAPI.

​
Pré-requisitos

1

Install LiteLLM

pip install litellm
2

Set your API key

Defina a chave de API como uma variável de ambiente (recomendado) ou passe-a inline:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Use variáveis de ambiente para evitar codificar credenciais sensíveis diretamente nos seus scripts.
3

Make a completion call

Use o formato cometapi/<model-name> para especificar modelos. Você pode passar a chave por variável de ambiente ou explicitamente:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Async and streaming calls

Use acompletion com stream=True para respostas não bloqueantes em tempo real:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Formato do modelo: Os modelos do CometAPI usam o prefixo cometapi/<model-name>, por exemplo cometapi/your-model-id. Veja a página de modelos do CometAPI para os modelos disponíveis.
  • Respostas de Fine-tuning: LiteLLM oferece suporte a temperature, max_tokens e top_p — adicione-os a qualquer chamada completion(), por exemplo completion(..., temperature=0.7).
  • Tratamento de erros: Envolva as chamadas em try/except para capturar erros de chave inválida ou problemas de rede.
  • Segurança: Nunca faça commit de chaves de API no controle de versão. Use variáveis de ambiente ou um gerenciador de segredos.
  • Limites de taxa: Monitore o uso no console do CometAPI.
  • Mais documentação: documentação do LiteLLM — início rápido do CometAPI