工具与产品 可动手 10月22日 周四 #llm#infra#context-engineering

OpenAI API 新增 12 小时提示词缓存,可与 30 分钟缓存混用

OpenAI 10 月 20 日为 Responses API 推出 12 小时提示词缓存。通过 prompt_cache_options.ttl 可设为 "30m"(默认)或 "12h",也能在单个断点上单独指定,因此可以把共享的系统指令和工具定义缓存 12 小时,会话内容保持 30 分钟。

12 小时缓存写入更贵,读取价格不变
30m 写入1.25
12h 写入2.5
缓存读取0.1

数据来自 OpenAI 提示词缓存文档,读取价不含 GPT-6.1 Sol 的特殊费率

要点

  • 写入价格:"12h" 为未缓存输入价的 2.5 倍,"30m" 为 1.25 倍;文档说明这是总价而非附加费
  • 读取价格两种时长相同,为普通输入价的 0.1 倍(GPT-6.1 Sol 为 0.05 倍)
  • 适用于 Responses API 中的 GPT-5.6 及之后的模型,前缀至少 1,024 个可见输入 token 才会被缓存
  • 把已有 30 分钟缓存的内容改存 12 小时会重新按 12 小时写入计费
为什么值得关注

请求间隔超过半小时、但共享大段固定上下文的场景(如定时任务、低频客服、批处理)可以少付重复写入的钱;是否划算取决于 12 小时内的复用次数。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助