LlamaIndex - CometAPI Documentation

LlamaIndex cung cấp lớp CometLLM như một tích hợp chính thức với CometAPI. Hãy dùng nó để vận hành các pipeline RAG, agent và chuỗi LLM với bất kỳ model nào trong danh mục của CometAPI.

Điều kiện tiên quyết

Python 3.8+
Tài khoản CometAPI với API key đang hoạt động — lấy tại đây

Cài đặt tích hợp LlamaIndex CometAPI

pip install llama-index-llms-cometapi llama-index

Đặt API key của bạn

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")

Sử dụng biến môi trường an toàn hơn so với việc mã hóa cứng thông tin xác thực trong script.

Khởi tạo model và thực hiện các lệnh gọi completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)

Bật streaming

Sử dụng stream_chat hoặc stream_complete để nhận đầu ra theo từng phần theo thời gian thực:

# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")

Mẹo và khắc phục sự cố

Models: Xem trang CometAPI Models để biết tất cả các tùy chọn hiện có.
Sử dụng model khác: Khởi tạo với model ID hiện tại khác, ví dụ CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
Fine-tuning: Truyền temperature và max_tokens trực tiếp vào CometLLM(...).
Xử lý lỗi: Bọc các lệnh gọi trong try/except để bắt lỗi key hoặc sự cố mạng.
Bảo mật: Không bao giờ commit API key vào hệ thống quản lý phiên bản. Hãy dùng biến môi trường.
Tài liệu thêm: tài liệu LlamaIndex — bắt đầu nhanh CometAPI — ví dụ Colab

Documentation Index

​Điều kiện tiên quyết

Điều kiện tiên quyết