cometapi/ para rotear solicitações pelo catálogo de modelos do CometAPI.
Pré-requisitos
- Python 3.6+
- Uma conta CometAPI com uma chave de API ativa — obtenha a sua aqui
1
Instale o LiteLLM
2
Defina sua chave de API
Defina a chave de API como uma variável de ambiente (recomendado) ou passe-a inline:
Use variáveis de ambiente para evitar codificar credenciais sensíveis diretamente nos seus scripts.
3
Faça uma chamada completion
Use o formato
cometapi/<model-name> para especificar modelos. Você pode passar a chave por variável de ambiente ou explicitamente:4
Chamadas assíncronas e Streaming
Use
acompletion com stream=True para respostas não bloqueantes em tempo real:Dicas e solução de problemas
Dicas e solução de problemas
- Formato do modelo: Os modelos CometAPI usam o prefixo
cometapi/<model-name>, por exemplocometapi/your-model-id. Consulte a página de modelos da CometAPI para ver os modelos disponíveis. - Respostas de Fine-tuning: O LiteLLM oferece suporte a
temperature,max_tokensetop_p— adicione-os a qualquer chamadacompletion(), por exemplocompletion(..., temperature=0.7). - Tratamento de erros: Envolva as chamadas em
try/exceptpara capturar erros de chave inválida ou problemas de rede. - Segurança: Nunca envie chaves de API para o controle de versão. Use variáveis de ambiente ou um gerenciador de segredos.
- Limites de taxa: Monitore o uso no console da CometAPI.
- Mais documentação: documentação do LiteLLM — início rápido da CometAPI