Skip to main content
O LiteLLM fornece uma API Python unificada para mais de 100 provedores de LLM. O CometAPI tem suporte nativo — use o prefixo cometapi/ para rotear solicitações pelo catálogo de modelos do CometAPI.

Pré-requisitos

1

Instale o LiteLLM

2

Defina sua chave de API

Defina a chave de API como uma variável de ambiente (recomendado) ou passe-a inline:
Use variáveis de ambiente para evitar codificar credenciais sensíveis diretamente nos seus scripts.
3

Faça uma chamada completion

Use o formato cometapi/<model-name> para especificar modelos. Você pode passar a chave por variável de ambiente ou explicitamente:
4

Chamadas assíncronas e Streaming

Use acompletion com stream=True para respostas não bloqueantes em tempo real:
  • Formato do modelo: Os modelos CometAPI usam o prefixo cometapi/<model-name>, por exemplo cometapi/your-model-id. Consulte a página de modelos da CometAPI para ver os modelos disponíveis.
  • Respostas de Fine-tuning: O LiteLLM oferece suporte a temperature, max_tokens e top_p — adicione-os a qualquer chamada completion(), por exemplo completion(..., temperature=0.7).
  • Tratamento de erros: Envolva as chamadas em try/except para capturar erros de chave inválida ou problemas de rede.
  • Segurança: Nunca envie chaves de API para o controle de versão. Use variáveis de ambiente ou um gerenciador de segredos.
  • Limites de taxa: Monitore o uso no console da CometAPI.
  • Mais documentação: documentação do LiteLLMinício rápido da CometAPI