Zum Hauptinhalt springen
LlamaIndex bietet die Klasse CometLLM als erstklassige Integration mit CometAPI. Verwenden Sie sie, um RAG-Pipelines, Agents und LLM-Ketten mit jedem Modell aus dem CometAPI-Katalog zu betreiben.

​
Voraussetzungen

  • Python 3.8+
  • Ein CometAPI-Konto mit einem aktiven API-Schlüssel — hier erhalten
1

Installieren Sie die LlamaIndex-CometAPI-Integration

pip install llama-index-llms-cometapi llama-index
2

Setzen Sie Ihren API-Schlüssel

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Die Verwendung von Umgebungsvariablen ist sicherer, als Zugangsdaten direkt in Skripten zu hinterlegen.
3

Initialisieren Sie das Modell und führen Sie Completion-Aufrufe aus

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Aktivieren Sie Streaming

Verwenden Sie stream_chat oder stream_complete für eine Ausgabe in Echtzeit in Chunks:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Modelle: Eine Übersicht aller verfügbaren Optionen finden Sie auf der CometAPI Models-Seite.
  • Andere Modelle verwenden: Initialisieren Sie mit einer anderen aktuellen Modell-ID, z. B. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: Übergeben Sie temperature und max_tokens direkt an CometLLM(...).
  • Fehlerbehandlung: Kapseln Sie Aufrufe in try/except, um Schlüsselprobleme oder Netzwerkfehler abzufangen.
  • Sicherheit: Committen Sie API-Schlüssel niemals in die Versionsverwaltung. Verwenden Sie Umgebungsvariablen.
  • Weitere Dokumentation: LlamaIndex-Dokumentation — CometAPI-Schnellstart — Colab-Beispiel