观点：使用大模型应自建 LLM 代理，才能看清发生了什么
Jared Siegel 在 10 月 18 日的文章中主张，依赖厂商控制台无法获得工程级的可见性，应在自己可控的基础设施上运行 LLM 代理。通过统一入口记录哪个 key、哪个客户端、何时调用了哪个模型，并可快速切换模型、排查缓存未命中。
要点
- 代理可汇总多个供应商和模型的用量，并发放虚拟 API key，避免主 key 散落在各个工具和 Agent 中
- 作者称借助代理日志，可以在约 20 秒内手动定位编码会话中的缓存未命中
- 作者认为仅靠 OpenTelemetry 导出不够，但文章没有推荐具体产品
为什么值得关注
当团队里多个 Agent 和工具同时调用模型时，统一代理在成本核算、密钥管理和问题排查上的价值会越来越明显，适合作为 AI 平台建设的参考。
来源
### [观点：使用大模型应自建 LLM 代理，才能看清发生了什么]({{URL}})
Jared Siegel 在 10 月 18 日的文章中主张，依赖厂商控制台无法获得工程级的可见性，应在自己可控的基础设施上运行 LLM 代理。通过统一入口记录哪个 key、哪个客户端、何时调用了哪个模型，并可快速切换模型、排查缓存未命中。
- 代理可汇总多个供应商和模型的用量，并发放虚拟 API key，避免主 key 散落在各个工具和 Agent 中
- 作者称借助代理日志，可以在约 20 秒内手动定位编码会话中的缓存未命中
- 作者认为仅靠 OpenTelemetry 导出不够，但文章没有推荐具体产品
**为什么值得关注**：当团队里多个 Agent 和工具同时调用模型时，统一代理在成本核算、密钥管理和问题排查上的价值会越来越明显，适合作为 AI 平台建设的参考。
来源：[If you don't run your own LLM proxy, how do you even know what's going on?](https://jrdsgl.com/if-you-dont-run-your-own-llm-proxy-how-the-fuck-do-you-even-know-whats-going-on/)