硬核横评
硬核横评

AI 网关横评:LiteLLM、one-api、OmniRoute、Portkey 四款怎么选

横评 LiteLLM、one-api、OmniRoute、Portkey 四款开源 AI 网关,基于官方 README 与公开 star 数做代表性对比(非亲自压测),按场景给结论:生产通用选 LiteLLM、国内 key 分发选 one-api、白嫖免费模型选 OmniRoute、企业护栏选 Portkey,并点出 one-api 与 Portkey 的断更信号。

发布于 2026年7月29日11 分钟阅读
<!-- ai-gateway-comparison-review | review | AI 网关横评:LiteLLM、one-api、OmniRoute、Portkey 四款怎么选 -->

接 API 这件事,几年前还算个手艺活:每接一家厂商就要读一遍它的鉴权方式、错误码、流式协议,代码里堆满 if-else。到 2026 年,这活儿基本被一类工具吃掉了,就是 AI 网关。你只要对它说一句"把所有模型统一成 OpenAI 格式",剩下的 key 管理、负载均衡、成本统计、失败 fallback,它都能包。问题是市面上的网关多到挑花眼,GitHub 上点个"AI gateway"标签能刷出几十个。这篇挑四款最有代表性的开源网关横着比一比,按场景给结论,不列虚头巴脑的榜单。

先说清楚一件事:下面所有对比,都是基于四款项目的官方 README、描述与公开 star 数据做的代表性对比,不是我亲自压测。star 数截至 2026-07-29,随时变动,你看到这篇文章时数字大概率已经变了,别拿它当合同。

一、为什么 2026 年人人都在装 AI 网关

AI 网关说白了就是个"翻译加管家"。翻译,是把各家厂商五花八门的 API 协议统一成一套(多数是 OpenAI 格式),你上层应用只认一套接口;管家,是顺带把 key 分发、用量计费、负载均衡、限流护栏、失败切换这些琐碎活儿一起干了。

这东西这两年突然刚需,原因有三个。一是模型太多,今天用 Claude,明天切 DeepSeek,后天又想试 Qwen,每次切都要改调用代码,人是会疯的。二是成本敏感,同样的活儿不同模型价格差出几十倍,网关能帮你按任务自动路由到便宜的。三是 key 安全,直接把厂商 key 硬编码进前端或随手分发给同事,迟早出事,网关统一收口、按需发临时 key。

理解了这三件事,再去看四款网关的设计取舍,就清楚它们各自在押什么宝了。还有个前置判断得说一句:不是所有人都需要网关。如果你只接一家厂商、就你一个人用、也没有成本敏感到要按任务路由,那直接调官方 SDK 反而更简单,硬上网关是给自己加一层运维负担。网关的价值,只有在模型多、人多、要管成本和 key 的时候才真正兑现。下面四位选手,都是为后一种情况准备的。

二、四位选手入场(star 数截至 2026-07-29,实时变动)

先把四位的家底亮出来。数据来自 GitHub API,截至 2026-07-29。

网关仓库StarFork主语言许可最近 push
LiteLLMBerriAI/litellm5496110169Python(Rust 核心)NOASSERTION2026-07-29
one-apisongquanpeng/one-api360206759JavaScriptMIT2026-01-09
OmniRoutediegosouzapw/OmniRoute333344305TypeScriptMIT2026-07-29
PortkeyPortkey-AI/gateway125851227TypeScriptMIT2026-05-25

两个细节先点出来,这俩是选型硬指标,别忽略。one-api 最近一次 push 停在 2026-01-09,到现在已经好几个月没更新;Portkey 停在 2026-05-25,近两个月没动。开源项目停更不等于死,但维护活跃度直接影响你遇到坑时有没有人修。LiteLLM 和 OmniRoute 都是今天还在 push,活跃度拉满。

三、八个维度横向看:谁强在哪

把官方描述摊开,按八个维度对一遍。这张表是基于官方 README 与描述的代表性对比,非亲自压测,provider 和模型数都是项目方自报。

维度LiteLLMone-apiOmniRoutePortkey
定位最快最轻通用网关LLM API 管理与分发系统免费 AI 网关极速网关加集成护栏
统一格式OpenAI 格式OpenAI 格式为主OpenAI 格式兼容OpenAI 格式兼容
Provider/模型100+ LLM API十余家国产加海外290+ provider / 500+ 模型1600+ LLM
核心特色成本追踪/护栏/负载均衡/日志key 管理与二次分发免费 provider 90+ / token 压缩省 15-95%50+ AI 护栏
部署方式自部署/代理服务单可执行文件加 Docker 一键桌面端/PWA/自部署自部署/云
工具链兼容Bedrock/Azure/VertexAI/vLLM/NIM国产厂商全覆盖Claude Code/Codex/Cursor/Cline 等集成护栏为主
维护活跃度当日 push(活跃)数月未更新(注意)当日 push(活跃)近两月未更新(注意)
适合人群生产级通用首选国内 key 分发与聚合白嫖免费模型接编程工具企业级护栏

注意几个数对不上的地方:Portkey 自称 1600+ LLM 路由,LiteLLM 自称 100+ LLM API,OmniRoute 自称 500+ 模型。这几个数口径不一样,有的是 LLM 数,有的是 provider 数,有的是模型数,不能直接比大小,只能当参考。OmniRoute 的"290+ provider 里 90+ 免费"是它最锋利的卖点,后面单独说。

四、逐个拆:四款各自的最佳射程

LiteLLM:生产级通用首选

54961 星,四款里 star 最多,今天还在 push。官方一句话定位是"最快最轻 AI 网关",把 100+ LLM API 统一成 OpenAI 格式,顺带把成本追踪、护栏、负载均衡、日志全塞进来。支持的厂商点名了 Bedrock、Azure、OpenAI、Anthropic、VertexAI、vLLM、Nvidia NIM,基本是海外大厂全家桶。

它押的宝是"通用加生产"。所谓通用,是你接什么厂商它都尽量认;所谓生产,是它把成本追踪、负载均衡、日志这些运维刚需做进了网关本身,不是丢给你自己接。主语言 Python,核心用 Rust 实现,所以"轻快"这个说法有性能底子。许可是 NOASSERTION,注意这个不是 MIT,商用前最好读一眼它的许可细节,别默认它能随便拿来商用。

适合谁:要上线跑生产、接的是海外主流厂商、对成本和负载均衡有真实需求的中后台团队。你是个人开发者想本地折腾也行,但它真正的甜区在生产环境。

one-api:国内 key 分发与多模型聚合

36020 星,国产项目,主语言 JavaScript,MIT 许可。它最近一次 push 停在 2026-01-09,这是四款里唯一的"明显断更",选之前心里要有数。官方定位是"LLM API 管理与分发系统",杀手锏是单可执行文件加 Docker 镜像一键部署,外加 key 管理与二次分发。

它最对味的是国产厂商全覆盖:OpenAI、Azure、Anthropic、Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360 智脑、腾讯混元,一长串国产厂商它都认。这个列表对国内团队特别实用,因为国内项目经常要同时接好几家国产模型做对比或 fallback,one-api 把这事打包好了。key 二次分发是它的另一张牌:你拿一个总 key,对内分发子 key、设额度、看用量,团队管理场景直接对位。

适合谁:国内团队、要给多人分发 key 管额度、同时接一堆国产模型。代价是维护活跃度掉队了,遇到坑可能得自己 fork 修。

OmniRoute:白嫖免费模型接 Claude Code

33334 星,TypeScript,MIT,今天还在 push。官方一句话是"免费 AI 网关",一个端点接 290+ provider,其中 90+ 是免费的,覆盖 500+ 模型,点名了 Kimi、Claude、GPT、Gemini、GLM、DeepSeek、MiniMax。它最狠的是把"免费"做成了核心卖点。

但它真正戳中程序员的是工具链兼容那一行:Claude Code、Codex、Cursor、OpenCode、Cline、Copilot 全都认。意思是你可以拿它当个中转,让 Claude Code 这种本来要花钱订阅的工具,去白嫖那 90+ 免费 provider 里的模型。再配两个独家技术:RTK 加 Caveman 压缩,号称省 15% 到 95% 的 token;配额感知自动 fallback,免费额度用完自动切。还有 MCP/A2A 支持、桌面端和 PWA、500+ contributors。

适合谁:个人开发者、想拿 Claude Code 或 Cursor 这类工具但不想掏订阅费、对免费 provider 的稳定性能接受"能用就行"的人。它把白嫖这件事工程化了,是这个赛道的异类。但"90+ 免费 provider"的稳定性天然参差,免费的东西随时可能挂,别拿它跑生产核心链路。

Portkey:企业级护栏

12585 星,TypeScript,MIT,最近一次 push 2026-05-25,近两月没动,又一个要留意维护信号的。官方定位"极速 AI 网关加集成护栏",路由 1600+ LLM,配 50+ AI 护栏。它的押注和前三款不一样:前三款卷的是"接多少模型、省多少 token",Portkey 卷的是"护栏"。

所谓护栏,就是在请求进模型之前和出来之后,做内容安全、合规、越权拦截这类检查,50+ 护栏是个不小的数字。对金融、医疗、政企这类合规要求高的场景,护栏是刚需,不是锦上添花。它的星数是四款里最少的,但这不一定是劣势,更多是定位决定的,企业级护栏本来受众就窄。

适合谁:合规要求高、要在网关层做内容安全与越权拦截的企业团队。如果你只是想统一 API 格式省点钱,Portkey 的护栏对你就是杀鸡用牛刀。

五、选型决策树:你该选谁

别看星数选,看你的活是什么。给一个决策路径,直接对号入座。

你要上线跑生产,接的是海外主流厂商,要成本追踪和负载均衡。选 LiteLLM。这是它的甜区,star 最多且当天还在 push,生产成熟度最稳。

你是国内团队,要给一群人分发 key、管额度,同时接一堆国产模型。选 one-api。国产厂商覆盖和 key 二次分发是它的主场,单文件部署也省心。前提是你能接受它已经几个月没更新,遇到 bug 有心理准备自己 fork。

你是个人开发者,想拿 Claude Code 或 Cursor 干活但不想掏订阅费,能接受免费 provider 时灵时不灵。选 OmniRoute。它把白嫖做成了产品,token 压缩和自动 fallback 是免费的诚意。

你是企业团队,合规是硬约束,要在网关层做内容安全和越权拦截。选 Portkey。它的 50+ 护栏是别家没有的差异化,星数少是因为赛道窄,不是因为它差。

还有两种常见组合。一是 LiteLLM 打底管通用路由,再叠 Portkey 的护栏做合规层,两者不是互斥。二是 OmniRoute 当个人白嫖入口,one-api 管团队正式 key,分开不要混。生产用正式 key,折腾用免费,这条线划清楚能省掉八成的麻烦。

六、三个避坑:维护活跃度、免费稳定性、key 安全

第一,维护活跃度比星数更该看。one-api 和 Portkey 都出现了断更信号,一个停了几个月,一个停了近两月。星数是历史积累,活跃度才是未来保障。选之前翻一下最近半年的 commit,看 issue 区有没有人回,这比看 star 数靠谱得多。一个 36000 星但半年没人动的项目,未必比一个 5000 星但天天更新的项目更适合你。具体到这两位:one-api 是国产项目,国内有人 fork 续命的可能性还在,但官方主仓不动就是不动;Portkey 背后是有商业公司的,停更更可能是团队精力转向了云服务,开源版变成了引流款,这种情况下你押注它的开源版,等于押注它愿意继续维护,风险自担。

第二,免费 provider 的稳定性天然不行。OmniRoute 那 90+ 免费 provider 是它最大的吸引力,也是最大的不确定。免费的东西,提供方随时可能限流、改接口、直接下线。拿它跑个人折腾没问题,跑生产核心链路就是在赌。真要省钱,更稳的做法是 OmniRoute 兜底,关键任务还是走付费的正式 key,别把生产命脉拴在免费 provider 上。

第三,key 安全永远是网关的第一职责。网关收口 key,本身就是为了不让 key 满天飞。但收口了不等于安全,分发出去的子 key 该有额度上限、该有使用日志、该能随时吊销。one-api 的二次分发、LiteLLM 的成本追踪,都是在帮你管 key。反过来,如果你选的网关连基本的 key 隔离都做不利索,星数再高也别上生产。另外别把厂商主 key 直接当网关后端用,给网关配一个有额度上限的子 key,万一网关本身漏了,损失是可控的。

七、别迷信星数,看你自己的活

四款网关,LiteLLM 通用、one-api 国产、OmniRoute 白嫖、Portkey 护栏,各押一个方向,没有谁是全能王。星数能给个热度参考,但选型的关键是你的场景:生产环境看活跃度和负载均衡,国内团队看 key 分发和国产覆盖,个人省钱看免费 provider 和工具链兼容,企业合规看护栏。

最后再说一遍,文里的对比都是基于官方 README、描述和公开 star 数的代表性对比,不是我亲自压测。真要上生产,自己拉下来跑一遍你的真实流量,比看一百篇横评都管用。AI 网关这东西,2026 年已经是基础设施级别的选型,选错一次后面迁移成本不低,所以第一次就按场景选对。


参考来源

本文由 AI 辅助生成,经人工审核编辑。最后更新:2026-07-29

常见问题

AI 网关和直接调厂商 API 有什么区别?
直连每接一家就要改鉴权、错误码、流式协议;网关统一成一套(多走 OpenAI 格式),顺带管 key 分发、负载均衡、成本统计、失败 fallback,上层应用只认一套接口。
四款里我该先试哪个?
按场景:生产接海外主流选 LiteLLM;国内分发 key 接国产模型选 one-api;个人想白嫖免费模型接 Claude Code 选 OmniRoute;企业合规要护栏选 Portkey。别看星数选。
one-api 和 Portkey 停更了还能用吗?
能用,但维护活跃度是选型硬指标。停更意味着遇到坑可能没人修,得自己 fork。生产环境尤其要权衡,建议翻半年 commit 和 issue 活跃度再定。
OmniRoute 的免费 provider 稳不稳?
天然参差。免费的东西随时可能限流、改接口或下线,跑个人折腾没问题,跑生产核心链路是赌。关键任务走付费正式 key,OmniRoute 当兜底更稳。
LiteLLM 的 NOASSERTION 许可是什么意思?
它不是标准 MIT,许可状态需自行确认。商用前务必读一遍它的许可条款,别默认能随便商用。

相关文章

硬核横评

AI 知识管理工具横评:Notion AI、Obsidian、Heptabase、Mem、Capacities、飞书知识库怎么选

2026 年六款主流 AI 知识管理工具代表性对比(非亲自压测,价格以官网为准):Notion AI(all-in-one 工作区,团队协作强,AI add-on $10/人/月)、Obsidian(本地优先 Markdown,数据掌控最强,个人免费)、Heptabase(白板卡片可视化,深度思考)、Mem(AI 自动归类,懒整理党)、Capacities(对象化笔记,结构化新范式)、飞书知识库(国内企业协作)。含两张对比表、逐个拆解、按人群选型、三个避坑与五条 FAQ。

2026年8月7日8 分钟阅读
硬核横评

4 款 AI coding skill 框架横评:ponytail、impeccable、mattpocock、superpowers 怎么选

横评 4 款 AI coding skill 框架:ponytail(★97k,lazy senior dev,~54% less code)、impeccable(★56k,23 commands+59 rules 前端设计指导)、mattpocock/skills(★206k,Real Engineers 不夺权)、superpowers(★267k,subagent+TDD 方法论,11 agents)。2 对比表+逐个拆+选型+避坑+5 FAQ。代表性对比非亲自压测,star 据 GitHub API 2026-08-06,ponytail 减码数据标 README 自报。

2026年8月6日9 分钟阅读
硬核横评

五款 AI 工作流自动化平台横评:n8n、Dify、Flowise、FastGPT、Coze 怎么选

横评 5 款 AI 工作流平台:n8n(★19.9万,通用工作流+AI,技术极客瑞士军刀)、Dify(★15.1万,LLM 应用编排,建 chatbot/agent/RAG 首选)、Flowise(★5.5万,可视化搭 agent 原型)、FastGPT(★2.9万,知识库 RAG 专精)、Coze(字节闭源,国内零代码一键发布)。2 张对比表+逐个拆+三场景选型+三避坑+5 FAQ。代表性对比非亲自压测,star 据 GitHub API 2026-08-06,价格以官网为准。

2026年8月6日9 分钟阅读