Vai al contenuto principale
LlamaIndex fornisce la classe CometLLM come integrazione nativa con CometAPI. Usala per alimentare pipeline RAG, agenti e catene LLM con qualsiasi modello nel catalogo di CometAPI.

​
Prerequisiti

  • Python 3.8+
  • Un account CometAPI con una chiave API attiva — ottienila qui
1

Installa l'integrazione CometAPI di LlamaIndex

pip install llama-index-llms-cometapi llama-index
2

Imposta la tua chiave API

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
L’uso delle variabili d’ambiente è più sicuro che inserire le credenziali direttamente negli script.
3

Inizializza il modello ed esegui chiamate di completamento

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Abilita lo streaming

Usa stream_chat o stream_complete per un output in tempo reale suddiviso in chunk:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Modelli: Consulta la pagina Modelli di CometAPI per tutte le opzioni disponibili.
  • Uso di altri modelli: Inizializza con un ID modello corrente diverso, ad es. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: Passa temperature e max_tokens direttamente a CometLLM(...).
  • Gestione degli errori: Racchiudi le chiamate in try/except per intercettare errori di chiave o problemi di rete.
  • Sicurezza: Non salvare mai le chiavi API nel controllo di versione. Usa le variabili d’ambiente.
  • Altra documentazione: documentazione di LlamaIndex — guida rapida di CometAPI — esempio Colab