开源项目 可动手 10月24日 周六 #open-weights#reasoning#inference

BottleCap 发布 ThinkingCap Gemma 4:思考 token 平均少 38.9%

BottleCap AI 10 月 23 日发布 ThinkingCap-gemma-4-26B-A4B-it,在 Google gemma-4-26B-A4B-it 上做了「缩短思考」的后训练,目标是少花推理 token 而不影响答案质量,可直接替换原模型。权重以 Apache 2.0 发布,另有 GGUF 版本。

要点

  • 12 项基准上思考 token 平均减少 38.9%,LongBench v2 上最多减少 69.1%;平均准确率从 75.18% 变为 75.03%
  • 陷入循环的回答比例从 3.64% 降到 0.76%,思考未闭合被截断的比例从 4.35% 降到 0.72%
  • 代价最明显的是 AA-LCR,准确率下降 4.00 个百分点;GPQA-Diamond 和 MMMLU 的下降也超出误差区间
  • 所有数字来自 BottleCap 内部评测,文章未公开训练方法细节
为什么值得关注

推理模型的思考长度直接决定延迟和成本,这类「同模型、少思考」的替换版本值得在自己的任务上对比;长上下文任务需要特别留意准确率损失。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助