开源项目 值得关注 10月20日 周二 #infra#inference

AWS 开源 TorchNeuron:Trainium 的原生 PyTorch 后端

PyTorch 官方博客 10 月 19 日发文介绍 TorchNeuron,这是 AWS Trainium 芯片的原生 PyTorch 后端,通过 PrivateUse1 扩展点和 torch.accelerator API 接入,将于 10 月 20 日在 PyTorch Conference North America 以 Apache 2.0 许可开源并进入公开 Beta,仓库为 aws-neuron/torch-neuronx。

要点

  • 模型代码只需 .to('neuron') 即可迁移,支持 eager 模式和 torch.compile(backend="neuron")
  • 支持 DDP、FSDP2、张量/流水线并行、DTensor 等分布式能力,适用于 Trainium2 和 Trainium3
  • 首个版本暂不支持稀疏张量、NestedTensor、前向模式自动微分和动态形状
  • AWS 称已对 10 万个 Hugging Face 模型做了盲测运行,vLLM 和 Transformers v5 的集成仍在推进中
为什么值得关注

非 NVIDIA 加速器在 PyTorch 上的「原生体验」继续改善,降低了在 Trainium 上训练和推理的迁移成本;正式使用前需核对不支持的特性清单。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助