LlamaIndex - CometAPI Documentation

LlamaIndex предоставляет класс CometLLM как нативную интеграцию с CometAPI. Используйте его для RAG-пайплайнов, агентов и LLM-цепочек с любой моделью из каталога CometAPI.

Требования

Python 3.8+
Аккаунт CometAPI с активным API-ключом — получите его здесь

Установите интеграцию LlamaIndex CometAPI

pip install llama-index-llms-cometapi llama-index

Задайте свой API-ключ

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")

Использовать переменные окружения безопаснее, чем хардкодить учетные данные в скриптах.

Инициализируйте модель и выполняйте вызовы completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)

Включите streaming

Используйте stream_chat или stream_complete для получения chunked-вывода в реальном времени:

# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")

Советы и устранение неполадок

Модели: Смотрите страницу моделей CometAPI, чтобы узнать обо всех доступных вариантах.
Использование других моделей: Инициализируйте с другим текущим model ID, например CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
Fine-tuning: Передавайте temperature и max_tokens напрямую в CometLLM(...).
Обработка ошибок: Оберните вызовы в try/except, чтобы перехватывать ошибки ключа или проблемы сети.
Безопасность: Никогда не коммитьте API-ключи в систему контроля версий. Используйте переменные окружения.
Больше документации: документация LlamaIndex — быстрый старт CometAPI — пример Colab

Documentation Index

​Требования

Требования