Użyj LlamaIndex z CometAPI

LlamaIndex udostępnia klasę CometLLM jako natywną integrację z CometAPI. Użyj jej do zasilania pipeline’ów RAG, agentów i łańcuchów LLM dowolnym modelem z katalogu CometAPI.

Wymagania wstępne

Python 3.8+
Konto CometAPI z aktywnym kluczem API — pobierz swój tutaj

Zainstaluj integrację LlamaIndex CometAPI

pip install llama-index-llms-cometapi llama-index

Ustaw swój klucz API

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")

Używanie zmiennych środowiskowych jest bezpieczniejsze niż umieszczanie poświadczeń na stałe w skryptach.

Zainicjalizuj model i wykonuj wywołania completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)

Włącz Streaming

Użyj stream_chat lub stream_complete, aby uzyskać wyjście fragmentami w czasie rzeczywistym:

# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")

Wskazówki i rozwiązywanie problemów

Modele: Zobacz stronę modeli CometAPI, aby poznać wszystkie dostępne opcje.
Korzystanie z innych modeli: Zainicjalizuj z innym aktualnym model ID, np. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
Fine-tuning: Przekaż temperature i max_tokens bezpośrednio do CometLLM(...).
Obsługa błędów: Umieść wywołania w try/except, aby przechwytywać błędy klucza lub problemy z siecią.
Bezpieczeństwo: Nigdy nie zapisuj kluczy API w systemie kontroli wersji. Używaj zmiennych środowiskowych.
Więcej dokumentacji: dokumentacja LlamaIndex — szybki start CometAPI — przykład Colab