Meta 发布开放权重模型 Muse Spark Open:816B 参数、1M 上下文
Meta 于 10 月 15 日发布 Muse Spark Open,这是一个总参数 816B、激活参数 42B 的混合专家模型,支持 1M token 上下文,采用带有限商用条款的 Muse Model License。权重可从 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 和 Microsoft Foundry 获取,也可通过 Baseten、Fireworks AI、Groq、Together AI 等平台的 API 调用。
要点
- 总参数 816B,激活参数 42B,上下文 1M token
- 已适配 SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp、Unsloth 等推理引擎
- Meta 给出的本地运行示例是两台 512GB 统一内存的 Apple M5 Ultra Mac Studio
- Meta 称其为「迄今最强的美国开放权重模型」,但发布页未给出具体基准分数,另附评测方法报告
为什么值得关注
开放权重模型的规模上限再次被抬高,对需要私有化部署大模型的团队是一个新选项;但许可证有商用限制,硬件门槛也很高,选型前需要仔细核对。
来源
### [Meta 发布开放权重模型 Muse Spark Open:816B 参数、1M 上下文]({{URL}})
Meta 于 10 月 15 日发布 Muse Spark Open,这是一个总参数 816B、激活参数 42B 的混合专家模型,支持 1M token 上下文,采用带有限商用条款的 Muse Model License。权重可从 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 和 Microsoft Foundry 获取,也可通过 Baseten、Fireworks AI、Groq、Together AI 等平台的 API 调用。
- 总参数 816B,激活参数 42B,上下文 1M token
- 已适配 SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp、Unsloth 等推理引擎
- Meta 给出的本地运行示例是两台 512GB 统一内存的 Apple M5 Ultra Mac Studio
- Meta 称其为「迄今最强的美国开放权重模型」,但发布页未给出具体基准分数,另附评测方法报告
**为什么值得关注**:开放权重模型的规模上限再次被抬高,对需要私有化部署大模型的团队是一个新选项;但许可证有商用限制,硬件门槛也很高,选型前需要仔细核对。
来源:[Introducing Muse Spark Open](https://research.meta.ai/blog/muse-spark-open)