Saltar al contenido principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LiteLLM proporciona una API unificada de Python para más de 100 proveedores de LLM. CometAPI es compatible de forma nativa: usa el prefijo cometapi/ para enrutar solicitudes a través del catálogo de modelos de CometAPI.

​
Requisitos previos

1

Instalar LiteLLM

pip install litellm
2

Configurar tu API key

Configura la API key como una variable de entorno (recomendado) o pásala inline:
import os
from litellm import completion

# Recommended: environment variable
os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"

# Alternative: pass inline
api_key = "<COMETAPI_KEY>"
Usa variables de entorno para evitar incluir credenciales sensibles directamente en tus scripts.
3

Hacer una llamada de completion

Usa el formato cometapi/<model-name> para especificar modelos. Puedes pasar la clave mediante una variable de entorno o explícitamente:
messages = [{"content": "Hello, how are you?", "role": "user"}]

# Method 1: environment variable (recommended)
response = completion(model="cometapi/your-model-id", messages=messages)

# Method 2: explicit API key
response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)

print(response.choices[0].message.content)
4

Llamadas async y streaming

Usa acompletion con stream=True para obtener respuestas en tiempo real sin bloqueo:
from litellm import acompletion
import asyncio, traceback

async def stream_call():
    try:
        response = await acompletion(
      model="cometapi/your-model-id",
            messages=[{"content": "Hello, how are you?", "role": "user"}],
            stream=True,
        )
        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error: {traceback.format_exc()}")

asyncio.run(stream_call())
  • Formato del modelo: Los modelos de CometAPI usan el prefijo cometapi/<model-name>, por ejemplo cometapi/your-model-id. Consulta la página de modelos de CometAPI para ver los modelos disponibles.
  • Respuestas de Fine-tuning: LiteLLM admite temperature, max_tokens y top_p; agrégalos a cualquier llamada completion(), por ejemplo completion(..., temperature=0.7).
  • Manejo de errores: Envuelve las llamadas en try/except para capturar errores por claves no válidas o problemas de red.
  • Seguridad: Nunca subas API keys a tu sistema de control de versiones. Usa variables de entorno o un gestor de secretos.
  • Límites de tasa: Supervisa el uso en la consola de CometAPI.
  • Más documentación: documentación de LiteLLM — inicio rápido de CometAPI