你上周跟 agent 磨了一下午的需求细节,今天新开会话,它干干净净地问你「项目背景是什么」。这不是上下文窗口不够大,是记忆这件事从来没长在模型身上:会话一关,KV cache 一清,什么都没留下。10 月 20 日,上海的记忆张量(MemTensor)团队放出 MemT 1.0,两款基座模型一起开源——288B 总参的 Flash 和 36B 总参的 Nano。按团队的说法(官方口径),这是业内首个记忆原生基座模型:记忆不再是外挂的检索库,而是模型架构里的一等公民,每个 token 生成时直接读写。权重公开可下载,但许可不是你想的那种「随便商用」。这篇把许可证、架构、跑分和局限一次说清,所有数字标明出处:官方数字标官方口径,媒体转述标媒体口径,没公布的数字不编。
一、先说许可证:权重公开,但不等于可商用
最容易踩坑的事放在最前面。多家媒体报道 MemT 1.0 用的词是「开源」,GitHub API 查询许可一栏返回的却是 NOASSERTION——因为 LICENSE 文本不是标准模板。我们抓取仓库里的 LICENSE 原文核对过,确认是 PolyForm Noncommercial 1.0.0,非商业用途许可。换句话说:模型权重公开可下载,个人学习、研究、公司内部的技术评估都没问题,但商用需要向团队另行授权。仓库里还附了一个 LICENSE-PAPER 文件,处理论文相关内容的许可,引用论文时留意一下。
「权重公开」和「可商用开源」是两回事,这在今天不是吹毛求疵。对比一下就明白:上一批腾讯 Hy Memory 2.0 用的是 Apache-2.0,拿去接商业需求不需要额外动作;MemT 1.0 虽然挂着「业内最大的开源参数化记忆模型」的名头(此为官方口径),许可层面却停在非商业这条线上。下载之前想清楚自己的用途,是评估研究还是上线收钱,两者的合规路径完全不同。
仓库在这里:MemTensor/MemT-1.0。
仓库地址:github.com/MemTensor/MemT-1.0
截至 10 月 20 日实测 194 stars,最近一次推送也是 10 月 20 日,热度刚起,社区生态还在早期。模型权重放在 Hugging Face 与 ModelScope 的集合页:
- Hugging Face MemT-1 合集
- HF 地址:huggingface.co/collections/MemTensor/memt-1
- ModelScope MemT-1 合集
- ModelScope 地址:modelscope.cn/collections/MemTensor/MemT-10
二、记忆原生是什么:记忆长在前向传播里
先摆传统三类记忆的家底,再看 MemT 动了哪一块。
激活记忆就是上下文窗口加 KV cache:所有历史原文摊在窗口里,注意力随时回头查。优点是保真度最高,缺点是会话结束即消失,而且历史越长,每一步推理的显存和延迟越重。
参数记忆是模型权重本身:训练时「背」进去的知识。问题是更新只能靠微调,改一条信息要动整个模型,没法逐条编辑、没法溯源。
外部知识库是 RAG 一类做法:记忆存在模型外面,检索后注入。可编辑、可溯源,但每一步都依赖检索质量,检索不到就是不知道。
MemT 1.0 走的是第四条路。按团队的架构描述,它把历史编码为持续存在、可更新的内部状态,模型在每个 token 生成过程中直接读写这份状态——记忆不再是输入,而是前向传播的一部分。
具体架构拆开看三层设计。第一层,Transformer 的每一层里,注意力与参数化记忆并联:注意力管当下这步该看什么,参数化记忆管历史沉淀了什么,两路并行工作。第二层,记忆状态分两块:动态局部记忆负责压缩历史,超记忆负责投影与门控参数——前者存内容,后者管怎么存、怎么取。第三层,Gated DeltaNet-2 以逐 token 方式更新记忆,带擦除、写入、遗忘、输出四道门控:该记的写入,过时的擦除,用不上的遗忘,要用的输出,每一步都是显式决策而不是隐式堆叠。扩容靠 MoS 混合存储,多记忆专家稠密路由,记忆容量可以独立于模型参数扩张。
训练方法也很直白:教师模型读完整上下文,学生模型只看记忆状态,KL 蒸馏只优化记忆参数。等于逼着记忆状态自己扛下全部历史信息——教师看到什么,学生从记忆里也得还原出等价的决策依据。
这套设计和 RNN 时代的思路有血缘关系:都是把历史压进一个状态向量里滚动更新。区别在于当年的 RNN 是被迫用一个小向量扛所有信息,容量小到记不住长程依赖,才被注意力取代;MemT 的思路是反过来——既然注意力为保真度付出的显存和延迟代价随历史线性增长,那就把「记」这件事重新做成可学习的模块,给它足够的容量和显式的读写控制,让它以远小于原文的代价扛住历史。能不能在保真度和成本之间找到比 RNN 时代好得多的平衡点,就是这批记忆原生模型要验证的命题。
三、两款模型:Flash 与 Nano
这次放出两个规格:
| 模型 | 总参数 | 每 token 激活 | 动态记忆 |
|---|---|---|---|
| MemT-1.0-Flash | 288B | 17B | 336M |
| MemT-1.0-Nano | 36B | 3B | 10M |
两款都按官方口径称为业内最大的开源参数化记忆模型——「最大」说的是参数化记忆那部分体量。训练语料 340 亿 token(网易口径),分两阶段:先学记忆写入,再学记忆调用。这个顺序安排有讲究:写入管「什么该记、怎么压缩」,调用管「什么时候取、怎么用」,两件事分开练,比混在一起学更稳。
规格选择也符合当下惯例:Flash 对标旗舰场景,17B 激活的稀疏结构控制推理成本;Nano 是 3B 激活的小杯,本地部署和边缘场景的候选。
四、跑分:官方口径,包括输给 MemOS 的那项
记忆能力基准(官方口径):11 项记忆基准上,Flash 拿 50.6 分,Nano 拿 47.0 分,在所有参数化记忆方法里排第一、第二;最强的参数化基线 Temp-LoRA 是 38.1 分,Flash 高出 12.5 分,Nano 高出 8.9 分。
有一个落后项不回避:这套成绩落后于记忆张量自家的 MemOS 文本记忆系统。团队自己的解释是,参数化记忆以一定的保真度损失为代价,换来可学习、可扩展——明文记忆精确但占存储、靠检索,参数化记忆有损但推理时随取随用。自家两套方案各有输赢还都摊开说,这个姿态值得记录,但也提醒你:这些数字全部是厂商自报,社区还没有独立复现。
代码智能体场景的对照更有意思(官方口径)。SWE-bench Verified 500 题:无记忆基线 66.07%,执行前注入经验后 69.33%,执行中触发记忆后 69.73%;三次全成功率从 54.00% 提到 61.6% 和 62.8%。SWE-bench Multilingual:60.00% 提到 62.89% 和 63.56%;pass³ 从 45.33% 提到 53.67% 和 55.33%。这组数字说明记忆不只是「聊天里记得住」,沉淀下来的经验能直接变成改代码的战斗力——同一批题,有经验就多做对几个百分点,而且「执行中触发」比「执行前注入」效果更好,说明记忆查得及时比查得多更重要。
长历史效率(官方口径,双 GPU 单并发、固定 128 token 解码):128K 历史端到端提速 1.86 倍,256K 历史提速 3.99 倍;TTFT 104 到 112 毫秒,对照传统方案 445 毫秒(网易口径)。
存储占用有两个口径,别混着用:1/66 是相对 KV cache 的持久存储占用;1/130 是相对传统完整方案的会话状态——256K 历史,每会话记忆状态约 40MiB,传统方案约 5.06GiB。两个数都成立,基准不同,引用时先说清对谁比。
表格怎么读也交代一句:SWE-bench 上三四个百分点的提升在刷榜语境里不算惊艳,但这里是零样本对照——同一个模型,唯一变量是有没有记忆经验,差异全部来自记忆本身的价值。对记忆系统这个新品类来说,这组对照的因果链比总分排名更干净。
五、用起来什么样:两个具象案例
官方给了一组长对话召回测试(官方口径):65K token 的英文长对话里,4K 处的信息能精确召回;16K 处,历史里没有的信息,模型正确回答「我不知道」——不编造,这在长上下文里比召回更难得;32K 处完成链式规则推理,把分散在不同位置的多条规则串起来用;64K 处能区分「已确认」和「仅提议」——上次说「要不要试试 A 方案」和「我们定了 A 方案」是两回事,模型分得清。
第二个案例是 Django 的 parse_http_date。有经验之后,智能体先建复现测试再改代码。行为变化比分数变化更有说服力:记忆里存的不是「这个 bug 的答案」,而是「修这类 bug 该先写复现用例」的工作方式。经验从数据变成了习惯。
部署侧的设计也值得留意:记忆状态与用户或任务轨迹绑定,支持序列化保存和恢复,跨会话延续——今天聊完,明天新会话接上,不用从头交代。注意一个细节:原始文本不保留,只有记忆状态本身。这对存储是好事,对隐私是双刃剑:原文没了,「记忆里到底记了什么」的可审计性就依赖团队给出的状态格式和工具,这一点目前还没有更细的公开材料。
六、两条路线:外挂记忆与记忆原生
这里交代一下分工。昨天本站刚写过腾讯 Hy Memory 2.0(文章《AI 记忆框架开源第一:腾讯 3B 干翻 Opus 5》),那是外挂记忆框架:模型、SDK、记忆中枢三层,记忆存在模型外面,靠检索注入上下文,现有的大模型都能接。今天这篇 MemT 1.0 是记忆原生模型:记忆长在模型架构里,前向传播直接读写,不依赖外部检索链路。
一句话分工:Hy Memory 给现有模型外挂记忆系统,MemT 干脆把记忆造进模型本体——两条路线昨天和今天各开源了一个代表。选型上的粗略分法:已有模型不想换、想给现有系统补记忆能力,看外挂路线;愿意换基座、追求推理效率和跨会话延续性,看原生路线。
还有一个组合拳值得记:MemT 1.0 与团队自家的 MemOS 3.0 组合,明文记忆加参数化记忆,构成完整链路——MemOS 管精确的明文记忆,MemT 管内化的参数化记忆,两套互补正好对上第四节说的取舍。
七、定位与局限:预览版,先立此存照
按机器之心的口径,MemT 1.0 目前是「预览版」。团队给出的方向是记忆驱动的递归自我改进(RSI):一轮任务里沉淀的有效方法,成为下一轮改进的基础,模型自己改自己的工作方式。下一步计划:提升长期记忆、扩容、降低记忆更新成本。
上手前三条局限摆清楚。一,所有基准都是官方自报,社区没有独立复现,虽然官方把输给 MemOS 的对照也公布了,但最终结论要等第三方复测。二,PolyForm Noncommercial 1.0.0 非商业许可,商用需另行授权,选型时先算清合规成本。三,参数化记忆的保真度损失是架构性的,对精度要求极高的场景(法务、医疗记录类)要慎重,或搭配明文记忆方案兜底。
常见问题
Q1:MemT 1.0 是开源吗?可以商用吗? A1:模型权重公开可下载,但许可为 PolyForm Noncommercial 1.0.0,非商业用途;商用需向团队另行授权。GitHub API 识别为 NOASSERTION,以仓库内 LICENSE 原文为准,另有 LICENSE-PAPER 处理论文相关许可。
Q2:记忆原生和外挂记忆(Mem0、Hy Memory 这类)有什么区别? A2:外挂记忆把记忆存在模型外面,靠检索注入上下文,现有模型都能接;记忆原生把历史编码为模型内部状态,每个 token 生成时直接读写,记忆是前向传播的一部分。前者通用性和可编辑性好,后者推理效率与跨会话延续性好,但保真度有损失。
Q3:存储到底省多少?1/66 还是 1/130? A3:两个口径都对,基准不同:1/66 是相对 KV cache 的持久存储占用;1/130 是相对传统完整方案的会话状态——256K 历史,记忆状态约 40MiB,传统方案约 5.06GiB。
Q4:跑分可信吗? A4:全部为官方自报口径,社区尚无独立复现。可注意的是官方同时公布了落后于自家 MemOS 文本记忆系统的对照,说明对照实验完整公开,但最终结论仍需等第三方复测。
Q5:现在值不值得上手?怎么下载? A5:仓库在 github.com/MemTensor/MemT-1.0,权重在 Hugging Face 与 ModelScope 的集合页可下载。目前是预览版(机器之心口径),适合研究与内部评估;生产与商业场景先留意非商用许可,商用需另行授权。
延伸阅读
- AI 记忆框架开源第一:腾讯 3B 干翻 Opus 5:AI 记忆框架开源第一:腾讯 3B 干翻 Opus 5
- AI agent 长期记忆系统搭建 SOP:让 agent 跨会话记住你:给 agent 装长期记忆:mem0 与 Letta 上手实录
- codebase-memory-mcp 代码智能引擎:codebase-memory-mcp:AI 编程 agent 的代码智能引擎