Hopp til hovedinnhold
LlamaIndex tilbyr klassen CometLLM som en førsteklasses integrasjon med CometAPI. Bruk den til å drive RAG-pipelines, agenter og LLM-kjeder med hvilken som helst modell i CometAPIs katalog.

​
Forutsetninger

  • Python 3.8+
  • En CometAPI-konto med en aktiv API-nøkkel — få din her
1

Installer LlamaIndex CometAPI-integrasjonen

pip install llama-index-llms-cometapi llama-index
2

Sett API-nøkkelen din

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Det er tryggere å bruke miljøvariabler enn å hardkode legitimasjon i skript.
3

Initialiser modellen og gjør completion-kall

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Aktiver streaming

Bruk stream_chat eller stream_complete for chunked output i sanntid:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Modeller: Se CometAPI Models-siden for alle tilgjengelige alternativer.
  • Bruke andre modeller: Initialiser med en annen gjeldende modell-ID, f.eks. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: Send temperature og max_tokens direkte til CometLLM(...).
  • Feilhåndtering: Pakk kall inn i try/except for å fange nøkkelfeil eller nettverksproblemer.
  • Sikkerhet: Legg aldri inn API-nøkler i versjonskontroll. Bruk miljøvariabler.
  • Mer dokumentasjon: LlamaIndex-dokumentasjon — CometAPI hurtigstart — Colab-eksempel