AWS 开源 TorchNeuron:Trainium 的原生 PyTorch 后端
PyTorch 官方博客 10 月 19 日发文介绍 TorchNeuron,这是 AWS Trainium 芯片的原生 PyTorch 后端,通过 PrivateUse1 扩展点和 torch.accelerator API 接入,将于 10 月 20 日在 PyTorch Conference North America 以 Apache 2.0 许可开源并进入公开 Beta,仓库为 aws-neuron/torch-neuronx。
要点
- 模型代码只需 .to('neuron') 即可迁移,支持 eager 模式和 torch.compile(backend="neuron")
- 支持 DDP、FSDP2、张量/流水线并行、DTensor 等分布式能力,适用于 Trainium2 和 Trainium3
- 首个版本暂不支持稀疏张量、NestedTensor、前向模式自动微分和动态形状
- AWS 称已对 10 万个 Hugging Face 模型做了盲测运行,vLLM 和 Transformers v5 的集成仍在推进中
为什么值得关注
非 NVIDIA 加速器在 PyTorch 上的「原生体验」继续改善,降低了在 Trainium 上训练和推理的迁移成本;正式使用前需核对不支持的特性清单。
来源
### [AWS 开源 TorchNeuron:Trainium 的原生 PyTorch 后端]({{URL}})
PyTorch 官方博客 10 月 19 日发文介绍 TorchNeuron,这是 AWS Trainium 芯片的原生 PyTorch 后端,通过 PrivateUse1 扩展点和 torch.accelerator API 接入,将于 10 月 20 日在 PyTorch Conference North America 以 Apache 2.0 许可开源并进入公开 Beta,仓库为 aws-neuron/torch-neuronx。
- 模型代码只需 .to('neuron') 即可迁移,支持 eager 模式和 torch.compile(backend="neuron")
- 支持 DDP、FSDP2、张量/流水线并行、DTensor 等分布式能力,适用于 Trainium2 和 Trainium3
- 首个版本暂不支持稀疏张量、NestedTensor、前向模式自动微分和动态形状
- AWS 称已对 10 万个 Hugging Face 模型做了盲测运行,vLLM 和 Transformers v5 的集成仍在推进中
**为什么值得关注**:非 NVIDIA 加速器在 PyTorch 上的「原生体验」继续改善,降低了在 Trainium 上训练和推理的迁移成本;正式使用前需核对不支持的特性清单。
来源:[Introducing TorchNeuron: Native PyTorch backend for AWS Trainium](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/)