Goodfire 称「神经网络本来就是干净的」，可解释性圈子热议

Goodfire 研究员 Nick Cammarata 发表长文，认为过去被视为「叠加」证据的多义神经元很大程度上被误读：多数神经元有一个核心概念，另有一些由此分支出的相关特征，他称之为「递归泛化」。他对 Qwen3-32B 的初步审计显示，约 90% 的神经元「极」只有一个主要功能。作者把这称为工作假设，语言模型的详细结果留给后续论文。

要点

• 支持方：作者在多个视觉模型上重训并观察神经元形成，认为可以直接研究网络本身，而不必先用稀疏自编码器拆解
• 作者自述的保留：百分比依赖激活阈值和「算一件事」的定义，只是粗略指标；语言模型「远未解决」
• Zvi Mowshowitz 汇总的反方观点：Neel Nanda 认为只是适度更新，叠加仍真实存在；Leo Gao 要求用模拟或 KL 散度等严格方法评估解释
• 也有人质疑找到神经元功能只是理解模型的一小步，无法直接回答模型是否失准

来源

### [Goodfire 称「神经网络本来就是干净的」，可解释性圈子热议]({{URL}})

Goodfire 研究员 Nick Cammarata 发表长文，认为过去被视为「叠加」证据的多义神经元很大程度上被误读：多数神经元有一个核心概念，另有一些由此分支出的相关特征，他称之为「递归泛化」。他对 Qwen3-32B 的初步审计显示，约 90% 的神经元「极」只有一个主要功能。作者把这称为工作假设，语言模型的详细结果留给后续论文。

- 支持方：作者在多个视觉模型上重训并观察神经元形成，认为可以直接研究网络本身，而不必先用稀疏自编码器拆解
- 作者自述的保留：百分比依赖激活阈值和「算一件事」的定义，只是粗略指标；语言模型「远未解决」
- Zvi Mowshowitz 汇总的反方观点：Neel Nanda 认为只是适度更新，叠加仍真实存在；Leo Gao 要求用模拟或 KL 散度等严格方法评估解释
- 也有人质疑找到神经元功能只是理解模型的一小步，无法直接回答模型是否失准

**为什么值得关注**：如果结论成立，模型审计和调试的门槛会明显降低；但目前证据主要来自作者自己的初步审计，从业者宜关注后续论文和独立复现。

来源：[Neural Networks Are Already Clean](https://already-clean.goodfire.com/)；[I Can See Everything](https://lesswrong.com/posts/w2tBHwNERDoSawznx/i-can-see-everything)