Використання LlamaIndex з CometAPI

LlamaIndex надає клас CometLLM як нативну інтеграцію з CometAPI. Використовуйте його для роботи RAG-конвеєрів, агентів і ланцюжків LLM з будь-якою моделлю з каталогу CometAPI.

Передумови

Python 3.8+
Обліковий запис CometAPI з активним API key — отримайте його тут

Установіть інтеграцію LlamaIndex CometAPI

pip install llama-index-llms-cometapi llama-index

Установіть свій API key

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")

Використання змінних середовища безпечніше, ніж жорстке кодування облікових даних у скриптах.

Ініціалізуйте модель і виконайте виклики completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)

Увімкніть Streaming

Використовуйте stream_chat або stream_complete для виводу частинами в реальному часі:

# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")

Поради та усунення несправностей

Models: Перегляньте сторінку CometAPI Models, щоб побачити всі доступні варіанти.
Використання інших моделей: Ініціалізуйте з іншим поточним model ID, наприклад CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
Fine-tuning: Передавайте temperature і max_tokens безпосередньо в CometLLM(...).
Обробка помилок: Обгорніть виклики в try/except, щоб перехоплювати помилки ключа або проблеми мережі.
Безпека: Ніколи не комітьте API keys у систему контролю версій. Використовуйте змінні середовища.
Більше документації: документація LlamaIndex — швидкий старт CometAPI — приклад Colab