LlamaIndex - CometAPI Documentation

LlamaIndex는 CometAPI와의 기본 통합으로 CometLLM 클래스를 제공합니다. 이를 사용해 CometAPI 카탈로그의 모든 모델로 RAG 파이프라인, 에이전트, LLM 체인을 구동할 수 있습니다.

사전 요구사항

Python 3.8+
활성 API 키가 있는 CometAPI 계정 — 여기에서 발급받기

LlamaIndex CometAPI 통합 설치

pip install llama-index-llms-cometapi llama-index

API 키 설정

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")

스크립트에 자격 증명을 하드코딩하는 것보다 환경 변수를 사용하는 것이 더 안전합니다.

모델 초기화 및 completion 호출 수행

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)

스트리밍 활성화

실시간 청크 출력에는 stream_chat 또는 stream_complete를 사용하세요:

# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")

팁 및 문제 해결

모델: 사용 가능한 모든 옵션은 CometAPI Models 페이지에서 확인하세요.
다른 모델 사용: 예를 들어 CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024)처럼 다른 현재 model ID로 초기화하세요.
파인튜닝(Fine-tuning): temperature와 max_tokens를 CometLLM(...)에 직접 전달하세요.
오류 처리: 키 오류나 네트워크 문제를 포착하려면 호출을 try/except로 감싸세요.
보안: API 키를 버전 관리에 절대 커밋하지 마세요. 환경 변수를 사용하세요.
추가 문서: LlamaIndex documentation — CometAPI 빠른 시작 — Colab 예제

Documentation Index

​사전 요구사항

사전 요구사항