VocabX：按成本重建小模型词表，评分模型推理成本降 77%
Dharma-AI 10 月 21 日介绍 VocabX：在基础模型、数据和训练配方不变的前提下，为领域小模型重建分词词表。新 token 不按出现频次挑选，而按省下的钱挑选——每个被省掉的 token 按其所在字段（系统提示、用户消息或模型回复）的价格加权，在他们的场景中省一个回复 token 的价值是输入 token 的 7.4 倍。
要点
- 同时作用于两层：重建子词切分，并把重复出现的表达、整行或 JSON 外壳合并为「宏 token」
- 在基于 Qwen3-4B 的葡萄牙语作文评分模型上，平均回复长度从 350 降到 101 个 token，实测成本降低 77.0%，评测分数从 0.703 升到 0.810
- 一个把分数和 JSON 结构合并成单个 token 的早期版本得分仅 0.689；作者结论是承载模型决策的片段不应被压缩
- 作者说明论文仍在评审中，77% 只来自一个生产案例，7.4 倍的价格比也取决于其硬件和负载
为什么值得关注
输出格式固定、调用量大的领域小模型（评分、抽取、分类）可以考虑「词表专门化」这条降本路径；评估时要同时看质量，别让关键决策被合并进结构 token。
配套实验
已验证
检查 7/7 通过
GitHub Actions 实际运行 · Python 3.12.15 · 耗时 10.3s
按成本而非频次挑选宏 token
受 Dharma-AI 的 VocabX 文章启发，在模拟的作文评分请求上比较两种新增宏 token 的挑法：按省下的 token 数（频次）挑，还是按省下的钱（输出 token 单价为输入的 7.4 倍）挑，观察在不同预算下的 token 减少、加权成本减少和回复长度。
结论宏 token 预算为 4/8/16 时，按成本挑选比按频次多省 24.4/6.1/1.8 个百分点的加权成本
… METRIC: K=4 按频次 平均回复长度 = 25.5 token METRIC: K=4 按成本 平均回复长度 = 14.0 token METRIC: K=8 按频次 平均回复长度 = 16.5 token METRIC: K=8 按成本 平均回复长度 = 10.7 token METRIC: K=16 按频次 平均回复长度 = 10.0 token METRIC: K=16 按成本 平均回复长度 = 9.0 token [PASS] K=4：按频次挑选省下的 token 总数不少于按成本挑选 [PASS] K=4：按成本挑选省下的加权成本更多 [PASS] K=8：按频次挑选省下的 token 总数不少于按成本挑选 [PASS] K=8：按成本挑选省下的加权成本更多 [PASS] K=16：按频次挑选省下的 token 总数不少于按成本挑选 [PASS] K=16：按成本挑选省下的加权成本更多 [PASS] 预算越紧，两种挑法的成本差距越大 RESULT: 宏 token 预算为 4/8/16 时，按成本挑选比按频次多省 24.4/6.1/1.8 个百分点的加权成本
python main.py
查看代码与内网复现步骤 →
来源
### [VocabX：按成本重建小模型词表，评分模型推理成本降 77%]({{URL}})
Dharma-AI 10 月 21 日介绍 VocabX：在基础模型、数据和训练配方不变的前提下，为领域小模型重建分词词表。新 token 不按出现频次挑选，而按省下的钱挑选——每个被省掉的 token 按其所在字段（系统提示、用户消息或模型回复）的价格加权，在他们的场景中省一个回复 token 的价值是输入 token 的 7.4 倍。
- 同时作用于两层：重建子词切分，并把重复出现的表达、整行或 JSON 外壳合并为「宏 token」
- 在基于 Qwen3-4B 的葡萄牙语作文评分模型上，平均回复长度从 350 降到 101 个 token，实测成本降低 77.0%，评测分数从 0.703 升到 0.810
- 一个把分数和 JSON 结构合并成单个 token 的早期版本得分仅 0.689；作者结论是承载模型决策的片段不应被压缩
- 作者说明论文仍在评审中，77% 只来自一个生产案例，7.4 倍的价格比也取决于其硬件和负载
**为什么值得关注**：输出格式固定、调用量大的领域小模型（评分、抽取、分类）可以考虑「词表专门化」这条降本路径；评估时要同时看质量，别让关键决策被合并进结构 token。
来源：[How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77%](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization)