Saltar para o conteúdo principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

O LlamaIndex fornece a classe CometLLM como uma integração nativa com a CometAPI. Use-a para alimentar pipelines de RAG, agentes e cadeias de LLM com qualquer modelo no catálogo da CometAPI.

​
Pré-requisitos

1

Instale a integração CometAPI do LlamaIndex

pip install llama-index-llms-cometapi llama-index
2

Defina sua chave de API

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Usar variáveis de ambiente é mais seguro do que codificar credenciais diretamente em scripts.
3

Inicialize o modelo e faça chamadas de completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Habilite o Streaming

Use stream_chat ou stream_complete para saída em blocos em tempo real:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Modelos: Consulte a página de modelos da CometAPI para ver todas as opções disponíveis.
  • Uso de outros modelos: Inicialize com um model ID atual diferente, por exemplo CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: Passe temperature e max_tokens diretamente para CometLLM(...).
  • Tratamento de erros: Envolva as chamadas em try/except para capturar erros de chave ou problemas de rede.
  • Segurança: Nunca envie chaves de API para o controle de versão. Use variáveis de ambiente.
  • Mais documentação: documentação do LlamaIndex — início rápido da CometAPI — exemplo no Colab