LiteLLM

什么是LiteLLM？

LiteLLM是一个大型语言模型（LLM）网关（OpenAI代理），旨在管理身份验证、负载均衡和支出追踪，支持超过100个LLM，同时保持OpenAI格式。它简化了来自OpenAI、Azure、Cohere、Anthropic、Replicate和Google等多个提供商的LLM API的使用过程。LiteLLM为所有LLM API提供一致的输出和异常处理，并记录和跟踪所有模型的错误。它提供了如成本追踪、批处理API、保护机制（guardrails）、模型访问、预算管理、LLM可观测性、速率限制、提示管理、S3日志记录和直通端点等功能。

如何使用 LiteLLM？

通过使用chatGPT格式调用LLM API来使用LiteLLM – completion(model, messages)。它为所有LLM API提供一致的输出和异常处理。您可以选择开源部署LiteLLM，或尝试LiteLLM企业版以获取更多功能。

LiteLLM 的核心功能

支持100多个LLM的LLM网关

兼容OpenAI的API

成本追踪和预算管理

LLM备份

负载均衡

速率限制

提示管理

记录和错误跟踪

LiteLLM 的使用案例

为开发者提供对多个LLM的访问

管理不同LLM提供商的支出

实施LLM备份以提高可靠性

在组织内标准化LLM API访问

来自 LiteLLM 感谢aieep.ai