历史会自我重放:线性注意力的记忆困局与一张"便签纸"的解法

2026-11-18 19:44:46    来源:科技行者    

2024年前后,如果你去问一个做大模型架构的研究者"长文本能力的瓶颈在哪",他大概会告诉你:线性注意力模型天生记不住太远的东西,这是结构决定的,没法绕过去。

这个判断不是空穴来风。

Transformer处理长文本靠的是一份完整的记录,叫KV缓存。

KV缓存:Transformer在处理每个词时,会把它的"键"和"值"信息存下来,后面的词可以回头精确查找任何一个历史位置的信息,代价是这份记录随文本长度线性增长,一百万字的文本就要存一百万份记录,显存很快爆掉。

线性注意力换了一种活法:它不存全部历史,只维护一个固定大小的"状态",每来一个新词就把状态更新一下,旧的信息被压缩融合进这个状态里。这样显存不会爆炸,速度也快很多,但代价很明显:状态大小是固定的,历史越长,越早的信息就被挤得越稀薄,直到彻底查不到。

这篇来自沙特阿卜杜拉国王科技大学(KAUST)的论文,标题叫"History Replays Itself"(历史会自我重放),提出了一个叫NoteBank的方法,结论挺颠覆的:线性注意力记不住远处的证据,不代表它用不上这些证据。只要你把"记忆"和"计算"这两件事分开做,固定大小的状态照样可以配合出强悍的长文本能力,而且几乎不花额外的钱。

这事到底怎么做到的,值得仔细拆开看看。

一、问题到底卡在哪

先说说线性注意力的记忆到底是怎么回事。

论文里给出的更新公式大致是这样:每一层每一个注意力头,会从当前词算出一个"键"向量和一个"查询"向量,还有一个"值"向量。键值对会去更新一个固定尺寸的状态矩阵,查询则从这个状态矩阵里读取信息,生成输出。

这个状态矩阵就是整个模型对历史的全部记忆。

它不区分"重要"和"不重要",新信息进来,老信息自然就被覆盖掉一部分,这是数学结构决定的,不是哪个工程师没写好代码。

这就好比你有一块小黑板,记笔记只能写在这块黑板上,写满了就必须擦掉一部分旧字才能继续写。黑板的大小从一开始就定好了,不会因为你记的东西重要就自动变大。如果不接受这个设定,硬要把所有内容都往一块黑板上塞,结果就是黑板上的字越来越模糊,到最后谁也认不出写的是什么。这正是线性注意力在长文本任务里的真实处境:文本越长,黑板越花,最早写的东西基本等于没写。

论文给出的实验数据印证了这一点。在RULER基准(一套专门测试模型能否从长文本里精确检索信息的评测集)的六个检索任务上,Gated DeltaNet(一种代表性的线性注意力模型,简称GDN)在100万token长度下的平均准确率只有1.7%。

Gated DeltaNet(GDN):一种线性注意力模型架构,通过门控机制和"增量规则"来控制状态的保留与更新,是近年来高效长序列建模的代表性方法之一。

这个数字意味着什么?意味着你把一百道检索题丢给它,它答对的不到两道。几乎等于瞎猜。而且这不是个例,论文里测的三个1.3B参数规模的循环模型(GDN、GDN-2、Mamba-2)都呈现同样的崩溃曲线:4K token时表现还凑合,一旦拉到16K、64K甚至100万token,准确率直接跳水到接近零。

Mamba-2:一种选择性状态空间模型,是Mamba系列的改进版本,同样属于用固定尺寸状态压缩历史信息的线性序列建模方法。

研究者当时大概是这么想的:如果固定状态的"记忆容量"是天花板,那要么扩大状态尺寸(但这样效率优势就没了),要么设计更聪明的更新规则(比如delta rule增量更新),让有限的空间利用得更充分。过去几年大量工作都在做第二件事,但本质上都没有逃出"一个状态同时负责计算和记忆"这个框架。

NoteBank的思路不一样。它没有去改状态更新的数学公式,而是提出一个更根本的问题:为什么记忆必须靠这个状态来完成?

二、拆开"计算"和"记忆"两件事

NoteBank的核心设计,说白了就是给模型配了一个"外部笔记本",在处理文本的过程中,顺手把重要的片段原文抄下来存着,等真正的问题出现时再去笔记本里翻,把翻到的内容重新"回放"一遍给模型看。

这里有三个关键动作:写、找、读。

先说"写"。模型在读文本的过程中,把文本切成一个个固定长度的小块,叫做chunk。

chunk(文本块):NoteBank把输入文本切分成连续的、不重叠的固定长度片段,每处理完一个片段就触发一次笔记写入判断。

每处理完一个chunk,系统会评估块里每个词的"独特性"。独特性怎么算?用这个词的键向量和整块文本键向量的平均值做比较,差异越大,说明这个词越"特殊",越可能携带独有的信息,而不是和周围内容泛泛相似的废话。

挑出得分最高的位置后,系统不是只截那一个词,而是找到包含它的完整句子,再往前后扩展相邻句子,凑成一段不超过设定长度(比如64个token)的完整文本片段,原样存下来,这就是一条"笔记"。

这一步最妙的地方在于:它完全不需要知道后面会被问什么问题。写笔记这件事,发生在"问题"出现之前。

这就好比你去听一场长达三小时的讲座,中途你不知道考试会考什么,但你凭直觉记下了几个讲者特别强调、语气特别不同、反复提到的点。等真正拿到考题,你翻笔记本,大概率能翻到相关内容,前提是你当时记笔记的直觉没有完全跑偏。如果你从不记笔记,指望考试时凭记忆复述三小时前的细节,那基本是碰运气,这正是线性注意力原来的处境。

笔记存下来后,还得给它配一个"地址",方便以后能找到。这里NoteBank用了一个很讨巧的办法:它不去训练一个专门的检索模型,而是直接复用模型自身已经算出来的查询向量。

具体来说,每个笔记片段里,独特性得分最高的那个词的查询向量,会被压缩成一个更短的向量,存成这条笔记的"地址"。因为模型有很多层很多个注意力头,所以每条笔记其实有一整组地址,每个层-头组合对应一个。

接下来是"找"。当真正的问题来了,模型会先用一份临时复制出来的状态,把问题过一遍,得到问题的查询向量,同样压缩成短向量。然后拿这个短向量去跟笔记本里所有笔记的地址做相似度比较,采用的方法叫ColBERT式的"最大相似度投票":每个层-头通道各自找出和自己最相似的那条笔记,投一票,最后票数最多的几条笔记被选中。

ColBERT:一种后期交互式检索技术,通过多个细粒度向量的相似度匹配而不是单一整体向量比较来判断文本相关性,这里被NoteBank借用来做笔记投票。

这个检索过程完全没有引入任何外部的嵌入模型或者训练好的检索器,全程用的都是模型自己原生的特征。这就是论文反复强调的"training-free, plug-and-play"(免训练、即插即用)。

training-free, plug-and-play:指这项技术不需要对原模型做任何额外训练或微调,也不需要改变模型架构,拿到现成的模型checkpoint就能直接套用。

最后是"读"。选中的笔记按它们在原文中的先后顺序拼起来,构成一段"回放文本"。模型用一份新复制出来的状态,先把这段回放文本正常地处理一遍(就像读一段新的输入一样),然后再处理问题,生成答案。

整个过程里,模型的参数一个字节都没有改变,它只是被要求"再读一遍关键证据",然后再回答问题。

这个设计解决的根本矛盾是什么?是"计算"和"记忆"的角色冲突。原来一个状态要同时干两件事:一边不断压缩吞吐数据支撑当下的运算,一边还指望它能记住很久以前的细节。NoteBank把"记住"这件事挪出去,交给一个独立的、容量可以随文本长度线性增长的档案库,而"计算"这件事还是老老实实交给原来的循环状态去做。两件事不再互相拖累。

三、效果有多猛,代价有多小

论文给出的数字相当亮眼。

在RULER六个检索任务上,100万token长度下,GDN加上NoteBank(训练免费版,简称NB-TF)之后,平均准确率从1.7%直接拉到70.3%,整整提升了68.6个百分点。GDN-2提升66.6个百分点,Mamba-2提升37.8个百分点。

这是什么概念?相当于原来一百道检索题几乎全错,现在能答对七十道。而且这个提升是在模型权重完全冻结、没有花一分钱训练的情况下实现的。

论文还对比了另一种"笨办法":把整段文本重复输入两次,让模型"读两遍",这个方法叫JRT(Just Read Twice)。结果显示,JRT在长文本下几乎没有改善,准确率依然趴在地上。这说明问题不在于模型"没仔细看",而在于它原本就没有机制去保存那些看过的细节,读两遍解决不了存不住的问题。

再看代价。论文做了详细的理论FLOPs(浮点运算次数)核算,在100万token长度下,NoteBank给GDN带来的额外计算量只占整体计算的0.025%,其中真正用于笔记匹配投票的部分只有0.5到1.72 GFLOPs。

FLOPs:浮点运算次数,用来衡量一个模型做一次推理需要多少次基本的数学运算,是衡量计算成本的常用指标。

这个比例低到什么程度?相当于你本来要搬一百吨货,现在额外搬了25公斤。几乎感觉不到。为什么能做到这么低?因为笔记的写入复用的是模型本来就要算的键值特征,没有另起炉灶做新的运算;而检索匹配只是在一堆压缩过的短向量之间做点积比较,这个开销随笔记数量线性增长,但系数极小。

存储方面的对比更夸张。论文算出,在100万token下,GDN配上NoteBank的全部持久化存储(包括循环状态本身)只需要74.5 MiB,而一个同样宽度、深度、精度的标准Transformer模型存满100万token的KV缓存要192 GiB。两者相差大约2600倍。

这组数字背后藏着一个很朴素的道理:要想不丢信息,未必非要把每个历史位置的完整表示都存下来,存一份"够用的摘要加原文"反而更省。这就好比搬家时,你不需要把每天积累的所有购物小票都原样塞进箱子里带走,你只需要留一本记账本记下关键条目,真正要查某笔开支时翻记账本,再回头找对应那张小票核实就够了。如果非要把每张小票都保留原位置整整齐齐摆着,那搬家车都装不下。

延迟方面,论文在H100显卡上实测,在100万token场景下,加上NoteBank后延迟从125.11秒涨到140.64秒,涨幅10.6%到13.2%,显存占用从2.93 GiB涨到3.27 GiB,涨幅也不大。这个代价相比68.6个百分点的准确率提升,显然非常值。

四、从实验室跑到真实场景

只在人工构造的检索任务上表现好,说服力是有限的。论文接着把NoteBank拿到更贴近真实使用场景的测试集上验证。

在LongBench(一个覆盖单文档问答、多文档问答、摘要、小样本学习等任务的长文本评测集)上,GDN配合免训练版NoteBank的综合得分从15.49提升到16.07,已经接近论文引用的一个用16K长度数据专门训练过的Transformer参考模型的16.05分。

如果再加一步轻量级的适配训练,也就是LoRA(低秩适配,一种只训练少量额外参数、不动原模型权重的微调技术),GDN的综合得分能冲到23.03,显著超过那个参考Transformer。

LoRA:一种参数高效微调方法,在冻结原模型权重的基础上,给部分关键层加上低秩矩阵作为"旁路",只训练这些新增的小矩阵,大幅降低训练成本。

值得一提的是,这里的LoRA训练用的数据量不到930万个token,而且是通用语言数据,不是针对某个具体任务定制的。它调整的只是模型"读"回放证据时的行为,不改变笔记怎么写、怎么找。

Mamba-2的改善更戏剧性。它在LongBench上原始得分只有6.79,加上免训练NoteBank提升到13.43,再加LoRA适配提升到17.10。

论文还测试了更大规模的现成模型,没有做任何额外训练。在MemoryAgentBench(一个专门测试智能体记忆能力的评测集)上,Mamba-2-8B原本得分是0,接上NoteBank后提升到14.7。

MemoryAgentBench:一套评测大模型在多轮交互、长期记忆场景下表现的基准测试集,涵盖事实整合、事件问答等任务类型。

对于已经经过长文本后训练、本身能力就不弱的Qwen3.5-9B(一款结合了循环注意力层和标准注意力层的混合架构大模型),NoteBank依然带来提升:MemoryAgentBench得分从55.7提到56.8,LongBench-v2上从46.1提到49.3。

这说明NoteBank不是只对"病得重"的小模型有用,对已经相对健康的大模型也能挤出额外的空间,说明现有模型即使经过充分训练,依然没有把长文本能力完全发挥到极限。

五、追问:为什么还有改进空间

论文没有止步于展示效果好,还做了一系列诊断实验,去搞清楚瓶颈到底卡在哪个环节。

一个有意思的发现是:存下来的证据,不等于一定能被找到。论文把"笔记本里确实存了答案所需信息"的比例和"检索出来的笔记里真的包含答案"的比例分开统计,结果显示,GDN的检索命中率和存档覆盖率非常接近,基本上存了就能找到;但Mamba-2差距明显,很多本该被检索出来的笔记没有被选中。

研究者接着做了一个"开天眼"式的对照实验:固定笔记本和回放机制不变,但人为地把检索这一步换成"精确知道答案在哪条笔记里就选哪条"的理想情况。结果显示,这样处理后GDN的得分只从75.0小幅提升到75.7,但Mamba-2从40.4跳到61.6,提升超过20个百分点。

这说明对Mamba-2来说,真正的瓶颈很大一部分出在"找"这一步,而不是"写"或者"读"这两步。换句话说,笔记本里信息是齐全的,但模型自带的检索路由能力还不够精准,相当于笔记记得挺全,但翻笔记本的手法不太利索。

论文还比较了换一套更强的检索方式带来的收益。把NoteBank原生的检索方式替换成经典的BM25文本检索算法(一种基于词频统计的传统信息检索技术),Mamba-2在RULER上的得分从37.6涨到52.7。

BM25:一种经典的基于关键词匹配和词频统计的文本检索算法,广泛用于传统搜索引擎,不依赖任何神经网络模型。

这个结果一方面说明原生检索方式还有提升空间,另一方面也说明,即便换上更强的外部检索工具,也依然没有超出NoteBank这套"存证据、按需翻找、原文回放"的基本框架,只是把"翻找"这一步换了个更聪明的工具而已。研究者测算了成本:在GDN上,原生检索加路由耗时26毫秒,CPU上跑BM25耗时87毫秒,差距不算夸张,但BM25需要额外维护一套词频索引结构,这是额外的工程负担。

另一个诊断实验把"记忆是否可及"和"读取是否充分利用"这两件事分开看。论文发现,在GDN这类相对健康的模型上,免训练的NoteBank已经把长文本检索能力基本救回来了,配不配LoRA差别不大(RULER上59.8对58.4),说明长程检索能力的恢复主要靠"记忆机制本身",跟要不要适配训练关系不大。但在LongBench这类真实任务上,LoRA带来的提升幅度(从16.07到23.03)远超NoteBank本身带来的提升(从15.49到16.07),说明在复杂任务里,"模型会不会恰当地使用回放回来的证据"这件事,比单纯"能不能找到证据"更重要。

这个区分很关键:记忆系统能找到证据,是前提;模型能不能把证据用好,是另一个独立的能力,两者缺一不可。这就好比考试时你翻书找到了正确的公式,但如果你不知道怎么把这个公式套到眼前这道具体题目上,找到公式本身也白搭。

六、这件事带来的启发

读完这篇论文,最触动我的其实不是那个68.6个百分点的提升数字,而是论文标题暗示的那个判断:"历史会自我重放"。

这句话背后其实是一个挑战常识的立场:长久以来大家默认"模型的长程记忆能力=它的状态能装多少东西",这个等式被当成天经地义的物理约束来接受。但这篇论文说,这个等式本身就是可以被打破的,只要你意识到"记住过去"和"处理当下"从来就不是同一件事,非要绑在一起做,只是因为Transformer之外的循环架构历史上一直这么设计罢了。

这个思路其实有点像人类大脑的工作方式。我们并不是靠一个固定容量的"工作记忆"去存住一生所有的细节,我们靠的是外部笔记、照片、聊天记录,需要的时候去翻,翻到了再重新"回放"进脑子里处理。NoteBank某种程度上是把这个常识性的策略,第一次系统化地搬进了线性注意力模型的工程实现里,而且做到了几乎零成本。

论文里还有一个细节值得单独说一说:Mamba-2在超长文本下会出现数值爆炸,状态值变得异常巨大,导致读出的信息完全失真。研究者发现一个很朴素的补救方法:在回放前把循环状态直接清零重置,配合NoteBank只靠回放的证据来回答问题,这个简单的"清零操作"本身就能把Mamba-2-8B的MemoryAgentBench得分从0拉到13.0。这个结果某种程度上说明,长期以来被当作"模型记忆能力不足"的现象,有一部分其实是"模型被自己攒了太久的烂状态拖累了",这是个挺值得玩味的发现,它提示我们在诊断模型能力时,有时候问题不是"记忆太少",而是"记忆已经坏掉了"。

这篇论文留下的问题也不少。比如论文自己承认,笔记怎么写、怎么路由、怎么读,目前全是手工设计的规则和未经训练的现成特征,如果去专门训练这三个环节,效果会不会进一步跃升?又比如,这套机制在面对真正需要跨多条证据做推理整合的任务时(不是简单的单点检索,而是需要把分散在文档各处的几条线索拼起来才能回答的问题),到底能撑多远,论文给出的诊断实验其实已经暗示了答案并不总是乐观,比如Mamba-2在多跳事实整合任务上的提升幅度明显弱于单跳任务。

Q&A

Q1:NoteBank是什么?

A:NoteBank是一种训练免费、即插即用的稀疏记忆机制,它在模型处理文本时主动把关键片段原文存档,等问题出现后用模型自身的查询特征去检索相关笔记,再通过模型原生的前向计算把检索到的证据重新"回放"一遍,从而帮助线性注意力模型找回长文本检索能力,几乎不增加计算和存储成本。

Q2:NoteBank能带来多大的效果提升?

A:在RULER六项检索任务的100万token测试中,NoteBank让Gated DeltaNet的平均准确率从1.7%提升到70.3%,提升68.6个百分点,额外计算成本不到0.025%,持久化存储只有同等规模Transformer全量KV缓存的约1/2600。

Q3:NoteBank需不需要重新训练模型?

A:不需要。NoteBank的基础版本完全训练免费,直接套用到现成的预训练模型checkpoint上就能生效。如果想进一步提升在真实长文本任务上的表现,可以选择性地加一个轻量级LoRA适配器,只需不到930万token的训练数据,且原模型权重始终保持冻结不变。

[责任编辑:h001]

资讯播报

联系我们:256 8607 385@qq.com

版权所有 中播网 www.zhongboxinwen.com 京ICP备2022022245号-17