开源项目 值得关注 10月29日 周四 #open-weights#multimodal#inference

NVIDIA 开放 Nemotron 3.5 Transcribe:转写、分说话人和翻译一次完成

NVIDIA 10 月 28 日在 Hugging Face 发布 Nemotron-3.5-Transcribe-30B-A4B,一个混合专家结构的语音模型,用提示词控制输出,同一个权重可做转写、标注说话人、翻译或回答关于录音的问题。模型卡写明总参数 34B(含音频编码器),激活约 4.3B,支持 40 种语言,单条录音最长 1 小时,许可证为 OpenMDW-1.1。

要点

  • Open ASR Leaderboard 英文 9 个数据集平均 WER 4.71,多语言 7 种语言平均 4.62
  • 主要服务方式为 vLLM 0.32.0 加 NeMo Speech,也列出 Transformers 和 GGML
  • 模型卡给出的部署配置是 1 张 H100 80GB;音频理解和指令遵循只在英文上评测过
  • 同时发布 Granary v2 语音数据集
为什么值得关注

会议录音转写、需求访谈整理是能用上的场景,但显存要求较高,需要评估现有 GPU 是否够用;中文效果需自行验证。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助