项目地址:https://github.com/jing-ying-dev/whale-ying-memory

大家好,我今年 21 岁,是一本中医学大三学生,没有计算机或 AI 专业背景。2026 年 10 月 14 日开始研究 API,10 月 22 日转向 Agent 长期记忆,11 月 18–19 日跑出了现在这组结果。

项目叫 WhaleYing Memory,Apache-2.0 开源。Whale 一方面来自 DeepSeek 的鲸鱼形象,一方面是“深海记忆”的意象;Ying 是我的名字。

我想解决的不是单纯“从文本块里搜相似内容”,而是三个更具体的问题:

同一事实出现多个版本时,Agent 能不能知道哪个已经被取代;

长上下文里,能不能避免检索到旧值;

一个答案需要串联多个事实时,能不能逐跳找齐证据再回答。

全部开发、抽取、检索和测评都在一台无独显轻薄本上完成:Windows 11、i5-13420H、16GB 内存。

先放结果

指标是 MemoryAgentBench Conflict_Resolution 的 substring exact match,不是 LLM judge;这些 MemoryAgentBench 跑次的作答 temperature 为 0.7。

单跳(FactConsolidation-SH)

262k:93.2%(gpt-4o-mini,5 次均值)——论文基线 GPT-4o 60 BM25 56 gpt-4o-mini 45

262k:93.0%(DeepSeek,关思考,单次)

262k:92.0%(本地 Qwen2.5-Coder 7B,单次)

6k:98%(DeepSeek,关思考,单次)

多跳(FactConsolidation-MH)

262k:48.3%(DeepSeek,关思考,3 次均值)——CAR 对照 BM25 3 HippoRAG-v2 5 Mem0 2 MemGPT 3 CAR(gpt-4o) 41

262k:25.3%(gpt-4o-mini,3 次均值)——CAR(gpt-4o-mini) 27

6k:66% substring / 65% exact(DeepSeek,关思考,单次)

这里最值得注意的是:单跳换三个作答模型都在 92%–93%,但多跳换作答模型会从 25.3% 变成 48.3%。我的判断是,单跳的主要瓶颈在“记忆有没有找对”,多跳还额外依赖作答模型组合证据的能力。

和直接读全文对照

同为 262k:

单跳:DeepSeek 直接读全文 64% → WhaleYing + gpt-4o-mini 93.2%,+29pp;

多跳:DeepSeek 直接读全文 5.3% → WhaleYing + DeepSeek 48.3%,+43pp。

这也是我认为记忆系统在长上下文里不只是省 token 的原因:它把版本关系和证据链显式整理出来了。

系统怎么做

整个流程是:抽取 → 冲突消解 → 检索 → 作答。

1 . 抽取成四表

LLM 将长文或对话转换为四类结构化记录:

facts:断言,例如“X 是 Y”;

cards:事件,即发生了什么;

metrics:带数值和单位的指标;

identities:实体身份。

抽取后有确定性校验,引文必须是原文子串。给不出原文依据的记录不能直接混进最终数据。

2 . 用 supersession 处理新旧版本

同一主体出现多个版本时,系统按序号建立取代关系,旧值用 invalidated_at 标记;fold 时保留最新版本。

普通 RAG 更像是“搜到哪些块就拼哪些块”,这里额外记录“谁取代了谁”。这是 Conflict_Resolution 分数的核心来源。

3 . 混合检索

检索组合多字段 BM25、all-MiniLM-L6-v2 向量和 RRF。整库向量只构建一次并缓存,在测得的缓存实验中,检索提速约 1,340。

4 . 多跳迭代

多跳问题采用 Self-Ask 式流程:拆成单跳子问题,逐跳检索、拼出证据链,再生成最终答案。通过 WHALE_YING_ITERATIVE=1 开启,默认是单跳路径。

LoCoMo:当前边界

我也跑了 LoCoMo 官方 F1 字符串匹配,共 1,986 题,DeepSeek 作答,temperature=0、关思考:

多跳(282 题):无折叠 19.9% / 完全配置 20.4%

单跳(321 题):28.3% / 30.1%

时间(96 题):13.9% / 15.3%

开放域(841 题):43.9% / 38.9%

对抗/弃权(446 题):53.4% / 50.4%

总体 F1(1,986 题):38.6%(无折叠)/ 36.3%(完全配置)

这个结果说明当前 fold 有很明确的任务边界:它为“现在是什么”保留最新值,但 LoCoMo 经常问“过去发生过什么”。把旧版本折掉,对这类时间型问题会反扣分,所以无折叠总体更高。

时间类只有 13.9%–15.3%,相对时间解析是当前最弱的一环。下一步不是隐藏它,而是做“按问题选择当前状态或历史状态”,同时加强时间归一化。

实际成本与速度

一次 262k 完整测评中:

抽取:1.1M 字符 → 67 块 → 870 片,DeepSeek-flash 8 并发约 11.5 分钟;

作答:100 题单跳约 4 分钟;100 题多跳约 15–25 分钟;

输入 token:抽取约 300 万;100 题作答约 70 万。

从开始研究 API 到 2026 年 11 月 20 日,DeepSeek 开放平台累计支出 2,130.69,共 130,562 次请求。这个数字包括大量开发和迭代,不是单次 benchmark 的价格。

接下来想做什么

历史状态检索:根据问题决定“取最新”还是“回看旧版本”;

更强的时间解析:补上 LoCoMo 暴露出的相对时间短板;

让本地小模型也能有高水平记忆:系统负责抽取、折叠和检索,小模型依据证据回答;

高隐私部署:一台本地服务器负责抽取,多个低配置端负责检索和作答;

更易复现和接入:继续整理独立 API、评测脚本和文档。

我开源它不是因为已经做完,而是希望把已经投入的东西换成继续开发所需的算力、协作和反馈。

如果你在做 Agent、RAG、长期记忆、冲突消解或多跳检索,欢迎直接看代码和原始结果,也欢迎指出设计问题。

基线来源:

MemoryAgentBench(单跳):https://arxiv.org/abs/2507.05257

CAR(多跳):https://arxiv.org/abs/2606.01435

LoCoMo:ACL 2024。

主楼