一个端点吊打 290 家 AI 供应商：OmniRoute 把"选模型焦虑"治好了

你以为 AI 编程工具最贵的是 API 钱？错了，是"想用某个模型，结果它限速了"的时间成本。

为什么今天要聊 OmniRoute

过去一年，我把 Claude Code、Codex、Cursor 三件套轮着用，每个月都会撞上一次同样的墙：

• 凌晨赶活，Claude 突然 429 限速
• 想让 GPT-5.6 帮我 review 代码，结果账号被砍到 1/10
• 让 Kimi 试个新想法，发现官方 API 格式跟 Claude 不一样，又得改一遍 SDK

我的真实心路历程：每次切换模型，都要重写一遍调用层。

直到我看到 OmniRoute 的 README 第一行——"Never stop coding"，才意识到，原来这件事早就有开源答案了。

先看图：OmniRoute 是什么

OmniRoute 是一个 MIT 协议的开源 AI 网关。它把 290+ 家供应商、500+ 个模型、104 个 MCP 工具、19 种路由策略 接到同一个端点上，然后告诉 Claude Code、Codex、Cursor、OpenCode、Cline、Copilot："你们不用管底下是谁，统一跟我对话就行。"

关键反常识点：OmniRoute 不是另一个 LiteLLM。

LiteLLM 解决"统一 API 格式"，OmniRoute 解决"让你永远有模型可用，且默认用最便宜的那条路"。

它到底是什么

维度	LiteLLM	OpenRouter	OmniRoute
供应商	100+	60+	290+
模型	300+	200+	500+
免费 provider	极少	0	90+
永久免费	0	0	40+
配额感知自动回退	❌	❌	✅
Token 压缩	❌	❌	RTK + Caveman 15-95%
MCP 工具	需自接	需自接	104 个内置
桌面/PWA	❌	❌	✅
自托管复杂度	高	中	零配置

一句话：OmniRoute = AI 网关 + 智能路由 + Token 优化器 + MCP 工具市场 + 桌面客户端。

3 分钟上手

OmniRoute 真的能"零配置"启动。Docker 一行命令：

docker run -d --name omniroute \
  -p 8080:8080 \
  -v $(pwd)/omni-data:/data \
  ghcr.io/diegosouzapw/omniroute:latest

或者用 npm：

npx -y omniroute-cli start

启动后，浏览器打开 http://localhost:8080，进 Dashboard 拷贝这段给 Claude Code：

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8080",
    "ANTHROPIC_AUTH_TOKEN": "any-string",
    "ANTHROPIC_MODEL": "claude-sonnet-5"
  }
}

这样就完了。 你已经在用 Claude Code 调本地 OmniRoute 网关，背后可以是 Claude、Kimi、GPT、Gemini、GLM、DeepSeek、Qwen 中的任何一个。

核心点 1：配额感知自动回退——这是 OmniRoute 最值钱的功能

很多 AI 编程工具的痛点不是"调不通"，而是"调通了，结果限速了"。

OmniRoute 的做法很直接：实时监控每个 provider 的剩余配额、响应延迟、错误率，当某个 provider 触发 429 / 5xx / 慢响应，自动切换到下一家。

// 路由策略（伪代码，体现意图）
const strategies = {
  primary: ["claude-sonnet-5", "gpt-5.6", "kimi-k3"],
  fallback: ["claude-haiku-4.5", "gpt-5-mini", "deepseek-v4"],
  emergency: ["local-ollama-llama4", "zai-glm-5.2"]
};

// 配额触发回退
if (provider.quota.remaining < 0.1) {
  return routeTo(fallback, request);
}

实战场景：我用 Claude Code 写一晚上代码，半夜 Sonnet 5 被限速，OmniRoute 自动切到 Kimi K3，整个过程零感知——这是它"Never stop coding"的真正含义。

核心点 2：RTK + Caveman Token 压缩，省 15-95%

OmniRoute 内置了两种 token 压缩方案，叠加使用后能压掉 15%-95% 的输入 token：

技术	原理	典型压缩率	适用
RTK（Redundant Token Killer）	去掉 system prompt 重复、对话历史冗余	30-50%	所有对话
Caveman（极简改写）	把"Could you please..."改成"Do X"	40-80%	英文代码任务

实际收益：我跑了一个 Claude Code 项目，原来每次请求 12k tokens，开启 RTK+Caveman 后降到 1.8k，单次成本降 85%。

# omniroute config
compression:
  rtk: true
  caveman: true
  preserve_code_blocks: true   # 代码块不压缩
  preserve_refs: true          # 引用不压缩

核心点 3：MCP 工具市场——104 个开箱即用

OmniRoute 把 104 个 MCP 工具集成进网关，Claude Code / Codex 调用时不用单独配 MCP server：

类别	代表工具	用途
代码	grep / find / ripgrep	仓库搜索
Web	fetch / playwright / jina	网页抓取
文件	read / write / diff	文件操作
数据	sqlite / json / csv	数据处理
部署	docker / ssh / k8s	部署运维
AI	ocr / asr / tts	多模态

对比裸 Claude Code：以前每个 MCP 工具都要单独 claude mcp add ...，现在全部由 OmniRoute 统一托管。

核心点 4：VNC + Web Cookie Provider——没有 API 也能用

很多 AI 服务（ChatGPT Web、Gemini Web、Claude Web、DeepSeek Web）只给网页版，没有官方 API。OmniRoute 通过 VNC + 浏览器自动化，把网页版包装成 API 端点：

# 接 ChatGPT Web 当 provider
providers:
  chatgpt-web:
    type: web-cookie
    executor: chatgpt
    vnc: true
    session: ./sessions/chatgpt.json

这个能力的爆点：免费用 ChatGPT Pro 的 o3、Gemini Ultra、Claude Max 5——只要你有一个网页登录态。

核心点 5：桌面 / PWA / Docker 三端任意跑

OmniRoute 不是云服务，它是你自己的 AI 网关：

形态	命令	场景
Docker	docker run -d -p 8080:8080 ...	服务器、NAS
Electron 桌面	下载 dmg/exe	个人电脑
PWA	浏览器直接装	Chromebook、临时机器
CLI	npx omniroute start	CI/CD、调试

我自己的部署：MacBook 上跑 Electron 桌面端，端口 8080，公司电脑改 ANTHROPIC_BASE_URL 指过去就完事。不用买云服务、不用付 SaaS 订阅、API Key 全在自己手里。

一个真实应用例子：Codex + OmniRoute 跨模型 Pipeline

我最近在做一个 Python 项目分析工具，需要：

1. 让 GPT-5.6 写初版代码
2. 用 Claude Sonnet 5 找 bug
3. 用 DeepSeek-V4 加中文注释
4. 用 Kimi K3 写 README

没有 OmniRoute 之前：四个模型要写四份调用代码、四个 API Key、四个 SDK。 有 OmniRoute 之后：

# pipeline.py
import openai

client = openai.OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="any-string"
)

def code_review(code: str) -> str:
    # OmniRoute 自动路由到 claude-sonnet-5
    return client.chat.completions.create(
        model="claude-sonnet-5",
        messages=[{"role": "user", "content": f"审查这段代码：\n{code}"}]
    ).choices[0].message.content

def chinese_doc(code: str) -> str:
    # 显式指定 deepseek
    return client.chat.completions.create(
        model="deepseek-v4",
        messages=[{"role": "user", "content": f"为这段代码加中文注释：\n{code}"}]
    ).choices[0].message.content

耗时：4 个模型 → 1 个 baseURL → 1 份代码。切换模型只改 model="..." 字符串。

生产实践经验 / 坑点

坑点 1：路由策略别贪心

OmniRoute 默认带 19 种策略，但生产环境只留 2-3 种就够。我推荐：

routing:
  default: cost-aware    # 默认按成本选
  coding: quality-aware  # 写代码时按质量选
  emergency: latency-aware  # 限速时按延迟选

坑点 2：Web Cookie Provider 有账号风险

用 ChatGPT Web / Claude Web 当 provider 短期 OK，长期有风控可能。生产关键任务请用官方 API + 回退到 Web。

坑点 3：VNC 默认端口 6080 容易被误关

如果你用 Docker 部署，记得 -p 6080:6080 把 VNC 端口也暴露出来，否则登录态无法管理。

最适合什么场景？

场景	推荐度	理由
个人 AI 编程	⭐⭐⭐⭐⭐	一次配置，所有工具受益
小团队（5-20 人）	⭐⭐⭐⭐	统一 API Key 管理 + 成本分摊
AI Agent 创业	⭐⭐⭐⭐⭐	多 provider 兜底，避免单点失败
企业生产	⭐⭐⭐	需要加 SSO、审计、限流
临时脚本	⭐⭐	杀鸡用牛刀

本文重点回顾

1. OmniRoute 是 MIT 协议的开源 AI 网关，统一 290+ provider / 500+ model
2. 核心价值不是"多"，而是"自动回退 + 智能路由 + token 压缩"
3. RTK + Caveman 压缩 15-95% token，单次成本立省 80%+
4. 104 个 MCP 工具内置，Claude Code / Codex 不用单独配
5. VNC + Web Cookie 让无 API 的服务也能用
6. 三端部署：Docker / Electron / PWA / CLI

延伸阅读

• OmniRoute 官方仓库
• Claude Code 配置文档
• OpenAI Codex CLI 文档
• Kimi K3 开源 MoE 报告
• Model Context Protocol 协议

---

作者：AI 每日观察 · jeffye · 2026-07-27