论文 可动手 重点 10月25日 周日 #rag#agent#context-engineering

论文:直接检索原始对话,常比复杂的 Agent 记忆系统更好

西安交通大学团队的论文提出 Raw-RAG:不对对话历史做任何加工,直接用稠密检索加重排找出原始消息交给阅读模型。在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 上,它在 7 个基准×模型设置中有 6 个排名第一,比最强的对比记忆系统高 0.13–5.53 分。

要点

  • 作者分析认为,必要证据的覆盖率高可以抵消利用率低;有用的证据不只是答案本身,还包括推出答案所需的关系和依赖路径
  • 即使让阅读模型完整访问加工后的记忆库,准确率仍不如直接用原始证据
  • 主实验用 text-embedding-3-small 和 Cohere Rerank-v3.5,附录给出 Qwen3-Embedding-4B 加 Qwen3-Reranker-4B 的开源替代;作者尚未测试更小的阅读模型
  • 代码已在 GitHub 公开
为什么值得关注

给 Agent 加长期记忆前,先拿「原文检索」做基线:它实现简单、不丢信息,复杂的记忆加工要先证明自己比它强。

配套实验

已验证 检查 5/5 通过 GitHub Actions 实际运行 · Python 3.12.15 · 耗时 0.1s
保留原文 vs 写入时摘要:Agent 记忆的证据覆盖率

受论文 Naive RAG Is Stronger Than We Thought 启发,用构造的对话历史演示:写入时做摘要的记忆会丢掉「旧值」「原因」等证据,而对原始消息做检索能保住证据,代价是上下文更长。

结论构造数据中,Raw-RAG top-8 证据覆盖率 100.0%,覆盖式摘要 58.7%——摘要省上下文,但写入时没留的信息事后无法找回

…
METRIC: Raw-RAG top-3 总体证据覆盖率 = 89.1 %
METRIC: Raw-RAG top-8 总体证据覆盖率 = 100.0 %
METRIC: 覆盖式摘要 previous 类覆盖率 = 0.0 %
METRIC: Raw-RAG top-8 previous 类覆盖率 = 100.0 %
METRIC: 覆盖式摘要 reason 类覆盖率 = 0.0 %
METRIC: Raw-RAG top-8 reason 类覆盖率 = 100.0 %
METRIC: Raw-RAG top-8 平均上下文长度 = 62 词
METRIC: 覆盖式摘要平均上下文长度 = 4 词
[PASS] 覆盖式摘要能覆盖全部「当前值」问题
[PASS] 覆盖式摘要写入时丢了旧值,「上一次的值」问题全部缺证据
[PASS] 带历史的摘要仍不记录原因,「修改原因」问题全部缺证据
[PASS] Raw-RAG top-8 的总体证据覆盖率高于带历史的摘要
[PASS] 检索条数从 3 增加到 8,覆盖率不下降
RESULT: 构造数据中,Raw-RAG top-8 证据覆盖率 100.0%,覆盖式摘要 58.7%——摘要省上下文,但写入时没留的信息事后无法找回
python main.py 查看代码与内网复现步骤 →

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助