跳轉到主要內容

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LlamaIndex 提供 CometLLM 類別，作為與 CometAPI 的一級整合。你可以使用它，透過 CometAPI 目錄中的任何模型，為 RAG 流程、agents 與 LLM 鏈提供能力。

​
先決條件

  • Python 3.8+
  • 擁有一個具備有效 API key 的 CometAPI 帳戶 — 在此取得
1

安裝 LlamaIndex CometAPI 整合

pip install llama-index-llms-cometapi llama-index
2

設定你的 API key

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
使用環境變數比在腳本中硬編碼憑證更安全。
3

初始化模型並進行補全呼叫

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

啟用串流

使用 stream_chat 或 stream_complete 以取得即時分塊輸出：
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • 模型：請參閱 CometAPI 模型頁面 以查看所有可用選項。
  • 使用其他模型：使用不同的目前 model ID 進行初始化，例如 CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024)。
  • 微調（Fine-tuning）：將 temperature 和 max_tokens 直接傳遞給 CometLLM(...)。
  • 錯誤處理：將呼叫包裝在 try/except 中，以捕捉 key 錯誤或網路問題。
  • 安全性：切勿將 API key 提交到版本控制。請使用環境變數。
  • 更多文件：LlamaIndex 文件 — CometAPI 快速開始 — Colab 範例