Saltar al contenido principal
LlamaIndex proporciona la clase CometLLM como una integración de primer nivel con CometAPI. Úsala para impulsar pipelines de RAG, agentes y cadenas de LLM con cualquier modelo del catálogo de CometAPI.

​
Prerrequisitos

1

Instala la integración de CometAPI para LlamaIndex

pip install llama-index-llms-cometapi llama-index
2

Configura tu API key

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Usar variables de entorno es más seguro que incrustar credenciales directamente en los scripts.
3

Inicializa el modelo y realiza llamadas de completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Habilita streaming

Usa stream_chat o stream_complete para salida fragmentada en tiempo real:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Modelos: Consulta la página de modelos de CometAPI para ver todas las opciones disponibles.
  • Uso de otros modelos: Inicializa con un ID de modelo actual diferente, por ejemplo CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: Pasa temperature y max_tokens directamente a CometLLM(...).
  • Manejo de errores: Envuelve las llamadas en try/except para capturar errores de claves o problemas de red.
  • Seguridad: Nunca subas API keys al control de versiones. Usa variables de entorno.
  • Más documentación: documentación de LlamaIndex — inicio rápido de CometAPI — ejemplo en Colab