LLM Admin

LLM Admin是开源免费的本地大模型统一网关，遵循 Apache-2.0 开源协议。平台提供标准化兼容接口，同时适配 OpenAI、Anthropic 双协议，统一调度80余款主流大模型，支持文本、图像多模态智能分发。

内置声明式自定义路由、多密钥负载均衡、故障自动转移机制，搭配提示词缓存功能，可自动将请求分流至低成本模型，有效削减Token调用成本。配套可视化桌面管理面板，支持可视化配置、用量实时监控；全量数据本地运算，杜绝隐私外泄，满足合规部署需求。

一、产品核心功能：

1、统一调用接口：单套API对接80+主流大模型，整合文本、图像生成能力

2、双协议原生兼容：适配OpenAI /v1/chat/completions、Anthropic /v1/messages，客户端无需改造代码

3、自定义声明式路由：支持负载均衡、主备切换、故障转移等灵活调度策略

4、多模态智能路由：依据文本、图像、音视频等内容类型自动匹配最优模型

5、多密钥容灾机制：同一服务商可配置多组API密钥，自动分发流量，规避单点故障

6、可视化用量统计面板：实时统计Token消耗、调用费用，消费数据透明可查

7、可扩展插件生态：内置提示词缓存、内容安全校验等插件，按需拓展能力

8、纯本地私有化部署：所有数据本地处理，数据不对外流出，保障隐私合规

9、开源免费商用友好：Apache-2.0协议，支持免费下载、自定义修改、二次开发

二、产品核心优势：

1、降本增效：依托提示词缓存与智能分流策略，优先调度低成本模型，摆脱单一厂商绑定，可控调用成本

2、简易运维：可视化桌面管理后台，可视化配置路由、查看消耗，无需手动编辑配置文件、命令行重启服务

3、高可用稳定：上游模型接口异常自动切换分流，单点故障不中断业务服务

4、高并发高性能：底层架构承载海量并发请求，适配生产级核心业务场景

三、快速使用步骤：

1、访问官方站点：https://llmadmin.dev/

2、接入模型服务商：在桌面后台录入各厂商API密钥，兼容OpenAI、Anthropic、DeepSeek、智谱、豆包、Moonshot AI等平台

3、绑定目标模型：从已接入服务商列表选取对应模型（如glm5.2）完成接入

4、配置调度规则：自定义声明式路由，设置主备、负载均衡策略，开启自动故障转移

5、客户端接入调用：路由配置完成后，业务端通过统一接口即可调用全部80+模型，无需改动原有业务代码