page-agent提示词缓存优化指南cachedTokens如何帮企业省下API账单【免费下载链接】page-agentJavaScript in-page GUI agent. Control web interfaces with natural language.项目地址: https://gitcode.com/GitHub_Trending/pa/page-agentpage-agent是一个纯 JavaScript 的页面内 GUI Agent让 AI 用自然语言直接控制网页界面——点按钮、填表单、读页面全部在浏览器里完成无需浏览器扩展或截图识别。它天生适合做企业 SaaS 里的 AI 副驾驶但每执行一步任务就会把系统提示词和完整对话历史重新发给大模型。任务步骤越多、系统提示词越长API 账单就越贵。好消息是page-agent 已内置cachedTokens缓存命中统计再配合各模型供应商的**提示词缓存Prompt Caching**能力企业可以把重复计费的部分大幅打折省下可观的 LLM 成本。提示词缓存为什么能省钱先理解账单是怎么烧出来的计费项说明能否被缓存输入 Tokensprompt系统提示词 对话历史 页面 DOM 文本每一步都要重发✅ 可以输出 Tokenscompletion模型本步的推理和动作❌ 不可以Agent 类应用的特点是多轮、长上下文、前缀稳定。前几十步里反复发送的同一段系统提示词和历史消息正是缓存的黄金命中区。主流供应商对缓存命中的输入 Token 通常按1/10 甚至更低的价格计费——也就是说一次长任务的账单可能直接砍掉一大块。cachedTokens 从哪来page-agent 内置的缓存命中率统计page-agent 不需要你手动解析原始响应。它的 OpenAI 兼容客户端会自动从接口返回的usage.prompt_tokens_details.cached_tokens中提取缓存命中量作为cachedTokens字段透出字段定义packages/llms/src/types.ts 中标注为Prompt cache hits提取逻辑packages/llms/src/OpenAIClient.ts事件上报每个 Agent 步骤的usage都会带上该字段见 packages/core/src/types.ts这意味着你的监控面板里可以做一个简单的健康指标缓存命中率 cachedTokens ÷ promptTokens命中率长期低于 50%说明前缀不稳定比如系统提示词里塞了时间戳、随机 ID缓存几乎白开命中率能稳定在 80% 以上才是省钱的正确姿势。最快配置方法用 transformRequestBody 开启主动缓存不同供应商的缓存开关不一样page-agent 提供transformRequestBody钩子让你在请求发出去之前注入缓存标记。官方文档在 packages/website/src/pages/docs/features/models/page.tsx下面是最常用的两家Claude一行请求体级 cache_controlClaude 支持全局自动缓存只需在请求体顶层加一个标记transformRequestBody: (requestBody) ({ ...requestBody, cache_control: { type: ephemeral }, }),阿里云百炼 Qwen给 system 消息打标Qwen 系模型需要把cache_control挂在 system 消息的文本块上transformRequestBody: (requestBody) { const [systemMessage, ...rest] requestBody.messages return { ...requestBody, messages: [ { ...systemMessage, content: [{ type: text, text: systemMessage.content, cache_control: { type: ephemeral } }] }, ...rest, ], } }, 两个示例都来自官方文档的完整实现直接抄即可。更详细的供应商差异可看 transformRequestBody 配置说明。省多少钱一个粗略的账单估算以一个典型场景算账Agent 每步输入约 8000 tokens一次任务 15 步输入 Token 单价 $3/百万场景输入费用无缓存120,000 tokens ≈$0.36 / 次任务缓存命中 80%24,000 全价 96,000 按 1 折 ≈$0.10 / 次任务单任务省约 70%。按企业每天 1 万次任务、长提示词场景月度节省可达数万美元级——这还没算缓存命中带来的响应延迟下降命中部分无需重新预计算。实操清单5 步让账单降下来确认你的模型支持缓存OpenAI、Claude、通义千问等均支持本地模型Ollama 等通常不支持按供应商注入缓存标记用transformRequestBody配置见上文盯住 cachedTokens把每步的cachedTokens / promptTokens画成监控曲线保持前缀稳定系统提示词里别放时间戳、随机值把易变内容放到对话后半段用 rawResponse 抽查packages/core/src/types.ts 的调试字段可保留原始响应验证cached_tokens是否真的在增长相关文件索引缓存字段类型定义packages/llms/src/types.tsOpenAI 客户端缓存提取packages/llms/src/OpenAIClient.ts步骤事件 usage 结构packages/core/src/types.ts主动缓存官方文档packages/website/src/pages/docs/features/models/page.tsx一句话总结page-agent 把cachedTokens送进了每一步的执行数据里企业要做的只是打开供应商的缓存开关、盯住命中率曲线——API 账单自然会给出正反馈。【免费下载链接】page-agentJavaScript in-page GUI agent. Control web interfaces with natural language.项目地址: https://gitcode.com/GitHub_Trending/pa/page-agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 page-agent提示词缓存优化指南：cachedTokens如何帮企业省下API账单
page-agent提示词缓存优化指南cachedTokens如何帮企业省下API账单【免费下载链接】page-agentJavaScript in-page GUI agent. Control web interfaces with natural language.项目地址: https://gitcode.com/GitHub_Trending/pa/page-agentpage-agent是一个纯 JavaScript 的页面内 GUI Agent让 AI 用自然语言直接控制网页界面——点按钮、填表单、读页面全部在浏览器里完成无需浏览器扩展或截图识别。它天生适合做企业 SaaS 里的 AI 副驾驶但每执行一步任务就会把系统提示词和完整对话历史重新发给大模型。任务步骤越多、系统提示词越长API 账单就越贵。好消息是page-agent 已内置cachedTokens缓存命中统计再配合各模型供应商的**提示词缓存Prompt Caching**能力企业可以把重复计费的部分大幅打折省下可观的 LLM 成本。提示词缓存为什么能省钱先理解账单是怎么烧出来的计费项说明能否被缓存输入 Tokensprompt系统提示词 对话历史 页面 DOM 文本每一步都要重发✅ 可以输出 Tokenscompletion模型本步的推理和动作❌ 不可以Agent 类应用的特点是多轮、长上下文、前缀稳定。前几十步里反复发送的同一段系统提示词和历史消息正是缓存的黄金命中区。主流供应商对缓存命中的输入 Token 通常按1/10 甚至更低的价格计费——也就是说一次长任务的账单可能直接砍掉一大块。cachedTokens 从哪来page-agent 内置的缓存命中率统计page-agent 不需要你手动解析原始响应。它的 OpenAI 兼容客户端会自动从接口返回的usage.prompt_tokens_details.cached_tokens中提取缓存命中量作为cachedTokens字段透出字段定义packages/llms/src/types.ts 中标注为Prompt cache hits提取逻辑packages/llms/src/OpenAIClient.ts事件上报每个 Agent 步骤的usage都会带上该字段见 packages/core/src/types.ts这意味着你的监控面板里可以做一个简单的健康指标缓存命中率 cachedTokens ÷ promptTokens命中率长期低于 50%说明前缀不稳定比如系统提示词里塞了时间戳、随机 ID缓存几乎白开命中率能稳定在 80% 以上才是省钱的正确姿势。最快配置方法用 transformRequestBody 开启主动缓存不同供应商的缓存开关不一样page-agent 提供transformRequestBody钩子让你在请求发出去之前注入缓存标记。官方文档在 packages/website/src/pages/docs/features/models/page.tsx下面是最常用的两家Claude一行请求体级 cache_controlClaude 支持全局自动缓存只需在请求体顶层加一个标记transformRequestBody: (requestBody) ({ ...requestBody, cache_control: { type: ephemeral }, }),阿里云百炼 Qwen给 system 消息打标Qwen 系模型需要把cache_control挂在 system 消息的文本块上transformRequestBody: (requestBody) { const [systemMessage, ...rest] requestBody.messages return { ...requestBody, messages: [ { ...systemMessage, content: [{ type: text, text: systemMessage.content, cache_control: { type: ephemeral } }] }, ...rest, ], } }, 两个示例都来自官方文档的完整实现直接抄即可。更详细的供应商差异可看 transformRequestBody 配置说明。省多少钱一个粗略的账单估算以一个典型场景算账Agent 每步输入约 8000 tokens一次任务 15 步输入 Token 单价 $3/百万场景输入费用无缓存120,000 tokens ≈$0.36 / 次任务缓存命中 80%24,000 全价 96,000 按 1 折 ≈$0.10 / 次任务单任务省约 70%。按企业每天 1 万次任务、长提示词场景月度节省可达数万美元级——这还没算缓存命中带来的响应延迟下降命中部分无需重新预计算。实操清单5 步让账单降下来确认你的模型支持缓存OpenAI、Claude、通义千问等均支持本地模型Ollama 等通常不支持按供应商注入缓存标记用transformRequestBody配置见上文盯住 cachedTokens把每步的cachedTokens / promptTokens画成监控曲线保持前缀稳定系统提示词里别放时间戳、随机值把易变内容放到对话后半段用 rawResponse 抽查packages/core/src/types.ts 的调试字段可保留原始响应验证cached_tokens是否真的在增长相关文件索引缓存字段类型定义packages/llms/src/types.tsOpenAI 客户端缓存提取packages/llms/src/OpenAIClient.ts步骤事件 usage 结构packages/core/src/types.ts主动缓存官方文档packages/website/src/pages/docs/features/models/page.tsx一句话总结page-agent 把cachedTokens送进了每一步的执行数据里企业要做的只是打开供应商的缓存开关、盯住命中率曲线——API 账单自然会给出正反馈。【免费下载链接】page-agentJavaScript in-page GUI agent. Control web interfaces with natural language.项目地址: https://gitcode.com/GitHub_Trending/pa/page-agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考