Ana içeriğe atla

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LlamaIndex, CometLLM sınıfını CometAPI ile birinci sınıf bir entegrasyon olarak sunar. Bunu, CometAPI kataloğundaki herhangi bir modelle RAG işlem hatlarını, agent’ları ve LLM zincirlerini çalıştırmak için kullanın.

​
Ön koşullar

  • Python 3.8+
  • Etkin bir API anahtarına sahip bir CometAPI hesabı — buradan alın
1

LlamaIndex CometAPI entegrasyonunu yükleyin

pip install llama-index-llms-cometapi llama-index
2

API anahtarınızı ayarlayın

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Ortam değişkenlerini kullanmak, kimlik bilgilerini script’lere sabit kodlamaktan daha güvenlidir.
3

Modeli başlatın ve completion çağrıları yapın

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Streaming'i etkinleştirin

Gerçek zamanlı parçalı çıktı için stream_chat veya stream_complete kullanın:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Models: Mevcut tüm seçenekler için CometAPI Models sayfasına bakın.
  • Diğer modelleri kullanma: Farklı bir geçerli model ID ile başlatın, ör. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: temperature ve max_tokens değerlerini doğrudan CometLLM(...) içine iletin.
  • Hata işleme: Anahtar hatalarını veya ağ sorunlarını yakalamak için çağrıları try/except ile sarmalayın.
  • Güvenlik: API anahtarlarını asla sürüm kontrolüne commit etmeyin. Ortam değişkenlerini kullanın.
  • Daha fazla dokümantasyon: LlamaIndex dokümantasyonu — CometAPI hızlı başlangıç — Colab örneği