方法与实践 了解即可 10月24日 周六 #fine-tuning#llm

WorldTUI:把 360M 小模型训练成「假装是终端」的世界模型

开发者 simedw 在 Qwen2.5-Coder-0.5B 上微调出 WorldTUI:背后没有真实 shell 或文件系统,模型根据当前屏幕和每次按键预测屏幕如何变化,能运行 vim、tmux、Python,并常常记得之前写入的文件内容。演示在浏览器里用 WebGPU 本地运行,在 HN 上获得近 600 分。

要点

  • 把 151,936 个 token 的词表裁到 333 个,模型从约 494M 降到约 360M 参数,int4 量化后浏览器下载 208 MB
  • 训练数据是在 Docker 里录制的终端会话加合成会话,共 336k 个片段、约 2B token;输出只写需要重绘的行
  • 用 DAgger 式自我纠错修复模型自己的错误,三轮后 PresetBench 从 24/47 提升到 38/47
  • ShellBench 得分 80/106,高于直接提示 Qwen3-0.6B 的 60;作者说明它不是可靠的文件系统,权重尚未发布
为什么值得关注

这是一份完整的小模型定制案例:裁词表、设计增量输出格式、用模型自身错误做纠错数据、并行解码提速,这些做法可迁移到其他结构化输出的小模型任务上。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助