Passer au contenu principal

Documentation Index

Fetch the complete documentation index at: https://apidoc.cometapi.com/llms.txt

Use this file to discover all available pages before exploring further.

LlamaIndex fournit la classe CometLLM comme intégration native avec CometAPI. Utilisez-la pour alimenter des pipelines RAG, des agents et des chaînes LLM avec n’importe quel modèle du catalogue de CometAPI.

​
Prérequis

1

Installer l’intégration LlamaIndex CometAPI

pip install llama-index-llms-cometapi llama-index
2

Définir votre clé API

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
L’utilisation de variables d’environnement est plus sûre que d’intégrer les identifiants en dur dans des scripts.
3

Initialiser le modèle et effectuer des appels de completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Activer le streaming

Utilisez stream_chat ou stream_complete pour une sortie segmentée en temps réel :
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Modèles : Consultez la page des modèles CometAPI pour voir toutes les options disponibles.
  • Utiliser d’autres modèles : Initialisez avec un autre model ID actuel, par ex. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning : Passez temperature et max_tokens directement à CometLLM(...).
  • Gestion des erreurs : Encadrez les appels avec try/except pour intercepter les erreurs de clé ou les problèmes réseau.
  • Sécurité : Ne versionnez jamais des clés API dans le contrôle de version. Utilisez des variables d’environnement.
  • Documentation supplémentaire : Documentation LlamaIndex — démarrage rapide CometAPI — exemple Colab