Gunakan LlamaIndex dengan CometAPI

LlamaIndex menyediakan kelas CometLLM sebagai integrasi utama dengan CometAPI. Gunakan ini untuk mendukung pipeline RAG, agent, dan rantai LLM dengan model apa pun dalam katalog CometAPI.

Prasyarat

Python 3.8+
Akun CometAPI dengan API key aktif — dapatkan milik Anda di sini

Install the LlamaIndex CometAPI integration

pip install llama-index-llms-cometapi llama-index

Set your API key

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")

Menggunakan environment variable lebih aman daripada menulis kredensial langsung di dalam skrip.

Initialize the model and make completion calls

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)

Enable streaming

Gunakan stream_chat atau stream_complete untuk output chunk real-time:

# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")

Tips and troubleshooting

Models: Lihat halaman CometAPI Models untuk semua opsi yang tersedia.
Using other models: Inisialisasi dengan model ID saat ini yang berbeda, misalnya CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
Fine-tuning: Teruskan temperature dan max_tokens langsung ke CometLLM(...).
Error handling: Bungkus pemanggilan dalam try/except untuk menangani error key atau masalah jaringan.
Security: Jangan pernah melakukan commit API key ke version control. Gunakan environment variable.
More docs: dokumentasi LlamaIndex — panduan mulai cepat CometAPI — contoh Colab