AIAI 工具图鉴
← 返回全部文章
·约 10 分钟PPT

agent 跑得贵不是模型贵：TrueForge 把 Claude 托管智能体砍到 1/3 成本

Agent
下载 PPT下载视频

配套媒体

本页对应的 PPT 与演示视频

trueforge-recommend.mp4
PPT
trueforge-recommend.pptx浏览器不能直接打开 PPT，下载后用 PowerPoint / WPS / Keynote 查看
下载没反应？点这里复制直链

侧边栏预览窗口（Electron webview）会拦截下载，把下面的链接复制到 Chrome / Edge 地址栏打开即可保存。

PPT../../trueforge-recommend.pptx
视频../../trueforge-recommend.mp4
本文目录
  1. 一、Agent 烧的不是 token，是上下文
  2. 二、TrueForge 是什么
  3. 三、4 套策略把上下文管成"用多少加载多少"
  4. 策略 1：启动时把输入压薄
  5. 策略 2：分页加载大文件
  6. 策略 3：KV 缓存隔离
  7. 策略 4：动态工具裁剪
  8. 四、不是"省 token"那么简单
  9. 五、为什么这个时间点这件事成立
  10. 六、给开发者的 3 条建议
  11. 结尾
  12. 3 备选标题（心理触发点）
  13. 配图位（5 张）

agent 跑得贵不是模型贵：TrueForge 把 Claude 托管智能体砍到 1/3 成本

一句话结论：开源 Apache 2.0 Agent Harness TrueFoundry/TrueForge，用 4 套上下文压缩策略 + 20+ 模型互通，把同款智能体任务的 token 成本打到 1/3，让"agent 跑得贵"这件事从病变成可选项。

一、Agent 烧的不是 token，是上下文

做 agent 跑批的团队，最近半年几乎都撞过同一面墙。

月初预算 1 万美元跑 agent，月底一看账单 3 万。不是模型变贵了——Opus 4.8 单价没变，Qwen3.5 还是那 6 元/M。问题出在 agent 周围那一圈代码：上下文。

举个真实的崩溃现场。一个财务分析 agent 调了 18 个工具，每个工具返回的 schema 塞进 prompt 就 8000 token。模型看一眼，输出 200 token 决策，决策再带回 5000 token 的工具结果回灌。每跑一步，prompt 都从 0 涨到 13000。

「1 万 token 的 prompt，能有 9000 是工具 schema 和历史调用记录。模型真正在看的，可能就 1000。」——某 infra 工程师的复盘

DevRev 在 Enterprise-Bench 上跑过 14 个企业任务：用 Claude 托管智能体跑，每轮平均花 $11.80；用 TrueForge 跑 Opus 4.8，每轮 $8.50。改用 GLM-5.2，TrueForge 单轮直接打到 $2.90。完成的任务数都一样：11 个。

模型没变，账单 -75%。 这就是 TrueForge 在做的事。

二、TrueForge 是什么

TrueFoundry 是 2021 年成立的旧金山企业 AI infra 公司，创始团队有 Meta 出来的 ML 部署老兵。8 月 26 日他们把核心 runtime 开源了：TrueForge，Apache 2.0。

定位一句话：「不造模型，专管模型周围那一圈代码的智能体运行框架」。它跑在企业自己的基础设施上，20+ 模型随便接（OpenAI / Anthropic / Qwen 全家桶 / GLM / DeepSeek），自带 MCP 兼容，按用量计费或者完全自托管。

GitHub 一周收 4.7k Star，Trending 当日 #15、当周 #14，TypeScript 榜当日 #2。这一周涨星曲线是这种"老 infra 玩家下场做 agent"最常见的爆款节奏：开源第 1 天 +600，第 3 天破 2000，第 7 天 4700。

它不卷 benchmark。 这是个反常识点：agent harness 这个赛道，过去 6 个月已经被卷成"谁的 framework 名字更长"的论文竞赛。TrueForge 不比 benchmark，它比的是「同样 11 个任务，$11.80 还是 $2.90」。

三、4 套策略把上下文管成"用多少加载多少"

TrueForge 不碰模型，只重新设计模型面前那一摞文件怎么摊开。具体 4 招。

策略 1：启动时把输入压薄

agent 启动那一瞬间，不把所有东西都端上来。两类东西刻意压薄：

  • Skills（git 化的 SKILL.md 包）：agent 启动时只看到名字和描述。比如有 22 个 skill，prompt 里只挂 22 个 name: description 摘要，正文要调时再去沙箱里读。
  • 工具定义：默认 deferred 加载（preload=false）。agent 拿到的不是完整 schema，只是「MCP server 名 + 一句话描述」。等到模型真要调某个工具了，才把对应 schema 拉进上下文。

效果：agent 启动 prompt 从 8000 token 砍到 1200。

策略 2：分页加载大文件

agent 要看一个 5000 行的代码文件？不要整篇塞上下文。

TrueForge 把大文件切成"页"，模型像翻书一样一页一页看。看哪段加载哪段，加载完就丢掉。文件再大，prompt 里始终只有 200-500 token。

策略 3：KV 缓存隔离

agent 跑长任务时，模型的 KV cache 经常被新工具结果"挤掉"——下一轮 prompt 进来时，cache 命中率断崖式下跌，重算一坨 attention。

TrueForge 把 KV cache 按"语义段"做隔离，工具结果不污染前面对话段的 cache。cache hit 率从 40% 提到 75%，单轮重算成本直接砍半。

策略 4：动态工具裁剪

模型眼前只放当前步真正会用到的 2-3 个工具，而不是 18 个。

TrueForge 的裁剪器在每一步之前扫一遍：基于当前 prompt 的语义，只把相关 tool 推上去。比如这一轮在写 SQL，前端构建工具、PDF 解析工具就被"摘下来"；下一轮切到构建页面，SQL 工具就被摘下来。

这一招最反常识：「工具越多越好」是大多数 agent 框架的默认假设。TrueForge 告诉你：工具越多，单步决策越慢，token 也越贵。

四、不是"省 token"那么简单

单纯把 token 压薄 1/3，账单减 1/3，这是个平庸的优化。TrueForge 的厉害在于它同时把"模型在每个 token 上能做的事"做厚了。

举个对比。同样的 11 个企业任务：

维度 Claude 托管智能体 TrueForge + Opus 4.8 TrueForge + GLM-5.2
完成任务数 11/14 11/14 11/14
单轮平均成本 $11.80 $8.50 $2.90
Token 消耗 100% ~33% ~25%
工具调用次数 100% ~60% ~55%
厂商锁定 完全锁死 模型随便切 模型随便切
自托管 否 支持 支持

任务数一样，成本 1/3，工具调用少 40%，而且你不再被任何一家模型厂绑死。

这就是「harness 把模型周围那一圈代码重新设计」的全部价值。

五、为什么这个时间点这件事成立

agent framework 这个赛道，过去两年已经死了一批又一批：LangChain 太厚、LlamaIndex 偏 RAG、CrewAI 太玩具。TrueForge 的爆款时机在于两个成熟条件凑齐了。

  1. MCP 成为事实标准。Anthropic 推的 Model Context Protocol 已经被 OpenAI、Google、20+ 主流框架接受。TrueForge 原生支持 MCP，意味着你今天用的钉钉机器人、飞书审批流、自研风控 API，一个 USB-C 接口全接上。
  2. 模型开始分层定价。Opus 4.8、GPT-5.6、Qwen3.5、GLM-5.3 性能差 10%，价格差 10 倍。企业需要按"任务难度"路由到不同模型：简单摘要扔给 Qwen Flash，复杂推理留给 Opus。TrueForge 的 harness 层就是天然的路由器。

谁能跑得起 agent，不取决于你买多贵的模型，取决于你会不会用 harness 把 token 摊薄。

六、给开发者的 3 条建议

如果你正在做 agent，这周可以做的事：

  1. 算一下你的 token 账单。一个 8 工具 + 5 skill 的 agent，单步 prompt 多少 token？启动时有多大比例是「没在用的工具和 skill」？这个比例如果 > 60%，TrueForge 这种 harness 直接帮你省一半。
  2. 别再上 LangChain 了。2026 年 agent framework 选型风向：runtime 层（TrueForge / AutoGen） > orchestration 层（LangGraph） > 抽象层（LangChain）。越靠近模型那一圈，token 优化越立竿见影。
  3. 接 MCP 时把 schema 拆开。即使不用 TrueForge，把工具的 schema 拆成"摘要 + 按需加载"两步，单步 prompt 也能降 40%。这是 TrueForge 策略 1 的迷你版。

结尾

agent 这个赛道，2026 年 8 月之前，大家还在卷"谁的模型能跑更长的任务"。8 月之后，harness 层开始接管话语权。

TrueFoundry 这次开源 TrueForge，把 4 套上下文压缩策略摊开给你看：启动压薄、分页加载、KV 隔离、动态裁剪。同样的 11 个任务，$11.80 变 $2.90，模型没换，工具没换，换的是"上下文怎么进模型眼前"。

下一个真正赚到的，不会是训练了更大模型的人，而是把模型周围那一圈代码重新设计的人。

3 备选标题（心理触发点）

  1. agent 跑得贵不是模型贵：TrueForge 把 Claude 托管智能体砍到 1/3 成本（反常识 + 实用价值 + 数字冲击）
  2. Anthropic 卖智能体你买不到，TrueForge 用 4 个开源策略把账单打骨折（反常识 + 权威背书 + 数字冲击）
  3. AI Agent 月烧 6 位数？这个 Apache 2.0 框架把上下文管到 1/3 token（情绪共鸣 + 实用价值 + 反常识）

配图位（5 张）

  1. 头图：开场金句「agent 烧的不是 token，是上下文」+ 4.7k Star GitHub Trending
  2. 4 策略对比图：启动压薄 / 分页加载 / KV 隔离 / 动态裁剪 各自机制图
  3. DevRev benchmark 表格可视化：3 列对比 11/14 tasks 成本（$11.80 / $8.50 / $2.90）
  4. harness vs model 关系图：TrueForge 接管模型周围那一圈代码的拓扑
  5. MCP 通用接口图：USB-C 比喻 20+ 模型 + 自定义 API 一插即用