开源项目 值得关注 10月20日 周二 #open-weights#fine-tuning#inference

IBM 发布 Granite Switch 4.1:一个端点同时做对话、判断和语音转写

IBM 于 10 月 15 日发布 Granite Switch 4.1(8B 和 30B),在 Granite 4.1 基座上组合多个 Activated LoRA(aLoRA)适配器和一个 0.5B 的语音识别模型,使同一个端点可以完成对话、通用/安全判断和英文语音转写。8B 版本采用 Apache 2.0 许可,上下文 128K。

要点

  • aLoRA 可复用基座模型生成时的 KV cache,任务间切换快,整体显存占用与基座模型相当
  • 包含通用 Decision aLoRA 和安全向 Guardian aLoRA
  • 可在 vLLM(需插件)和 llama.cpp 中运行,代码在 GitHub generative-computing/granite-switch
为什么值得关注

把分类、护栏、转写等「小判断」挂在同一个模型上,是降低 Agent 流水线中多模型部署成本的一种思路。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助