Saltar al contenido principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LlamaIndex proporciona la clase CometLLM como una integración de primer nivel con CometAPI. Úsala para impulsar pipelines de RAG, agentes y cadenas de LLM con cualquier modelo del catálogo de CometAPI.

​
Requisitos previos

1

Instala la integración de CometAPI para LlamaIndex

pip install llama-index-llms-cometapi llama-index
2

Configura tu clave API

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Usar variables de entorno es más seguro que codificar credenciales directamente en los scripts.
3

Inicializa el modelo y realiza llamadas de completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Habilita streaming

Usa stream_chat o stream_complete para obtener salida fragmentada en tiempo real:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Modelos: Consulta la página de modelos de CometAPI para ver todas las opciones disponibles.
  • Uso de otros modelos: Inicializa con un model ID actual diferente, por ejemplo CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: Pasa temperature y max_tokens directamente a CometLLM(...).
  • Manejo de errores: Envuelve las llamadas en try/except para capturar errores de claves o problemas de red.
  • Seguridad: Nunca subas claves API al control de versiones. Usa variables de entorno.
  • Más documentación: documentación de LlamaIndex — inicio rápido de CometAPI — ejemplo en Colab