于是一些前沿长序列模子最先接纳混淆架构：注重力认真高保真地读取近期token，，，再穿插牢靠巨细的「快速权重」（fast weights，，，可快速更新的轻量影象）认真压缩存储活跃窗口之外的信息。。。。。 注重力＋SSM（状态空间模子）的混淆设计，，，现在在大规模前沿模子里已经很常见。。。。。这套设计的逻辑是：只要快速权重的存储容量够大，，，长上下文问题就解决了。。。。。 论文焦点架构图。。。。。当上下文窗口被填满，，，模子在「驱逐界线」(Eviction boundary)前先做N次离线递归前向撒播，，，重复更新SSM？？？？？橹械目焖偃ㄖ(Fast weight)。。。。。随后注重力缓存(KV cache)被扬弃，，，模子仅凭牢靠后的快速权重，，，一次前向就答出「8」。。。。。 动物把短期影象转为恒久影象的历程，，，被以为依赖海马体回放，，，尤其爆发在睡眠期。。。。。睡眠时代动物对外界刺激没有反应，，，说明这件事的认知收益，，，值得它支付「断联」的价钱。。。。。 模子的「睡眠机制」，，，则是照搬了这个调理逻辑。。。。。该机制的触发时机是：当上下文窗口被填满。。。。。这时模子不急着清空缓存，，，而是先进入睡眠模式。。。。。 在这段睡眠里，，，它对累积下来的所有上下文做N次离线递归前向撒播，，，通过一个习得的局部规则，，，递归地更新SSM？？？？？橹械目焖偃ㄖ亍！。。。 这里的要害在于：特另外盘算被整体挪到了睡眠阶段。。。。。只要这一步赶在缓存驱逐前、或在空闲期完成，，，模子醒着回覆时就仍是一次标准前向撒播，，，推理延迟不会增添。。。。。 HN上有人点出了这套机制的巧思：按期停下来，，，把近期上下文写进一个快速权重状态，，，这一步即是给了模子一段专门的「消化时间」，，，而不是让它在回覆时硬扛。。。。。 论文里用到的Ouro 1.4B，，，自己就是一个这样的循环模子。。。。。Ouro并非这篇论文新宣布的模子，，，而是此前已有的事情，，，它接纳参数共享的循环架构，，，让统一批Transformer块重复作用，，，从而在潜在空间里做迭代盘算。。。。。 以往的循环模子，，，把递归盘算花在「展望」上：回覆问题时多想几步。。。。。这篇论文的焦点洞见是：递归不但能用于展望，，，也能用于影象牢靠。。。。。 把读过的token酿成好用的影象，，，这件事自己就不简朴，，，一次撒播未必做得完。。。。。就像梯度下降，，，也是靠一次次迭代，，，才逐步把权重调好的。。。。。睡眠期多循环一再，，，就是多给模子几步，，，让它把上下文嚼得更透，，，压进快速权重里。。。。。 并且和以往的循环模子差别，，，这个模子回覆时基础不必循环——该花的算力，，，睡觉时已经花完了。。。。。以前是回覆时多想，，，现在是睡觉时多想。。。。。 被更新的，，，似乎只是SSM的状态：任何Mamba类模子每处置惩罚一个token都会做的通例更新。。。。。这位用户的判断是：论文只是优化了模子，，，让它在即将驱逐缓存时更充分地使用这个状态罢了。。。。。 尚有人翻出别的研究于它比照：端到端测试时训练（E2E-TTT），，，以及Letta团队的「睡眠时盘算（sleep-time compute）」。。。。。焦点只有一个：去掉「睡眠」这个新包装，，，它究竟比前人多走了几步？？？？？ Letta团队《睡眠时盘算》论文提出，，，让模子在用户提问前离线「思索」上下文，，，预先算好可能用得上的量，，，从而压低测试时的盘算开销。。。。。与本文同属「离线盘算」蹊径，，，可是另一项自力研究。。。。。https://arxiv.org/pdf/2504.13171 离线思索、算力前置，，，正在成为一条新蹊径。。。。。它和「回覆时无限拉长头脑链」走的是相反偏向：一个把算力往前挪，，，一个把算力向后堆。。。。。 虽然，，，这52%的数据，，，对应条件是特定模子（Ouro 1.4B）、特定使命（GSM-Infinite）、特定子集（滑动窗口驱逐设置）上的相对提升，，，并非「大模子推理能力整体暴涨52%」，，，不可把这个数字泛化到所有使命、所有模子。。。。。 刚卷完上下文，，，接下来，，，AI该「卷睡觉」了。。。。。 这意味着AI的「空闲时间」也要变得值钱了，，，若是这条路走通，，，改变的可能不但是一个跑分数字。。。。。 模子完全可以在「空闲期」做一件事：把群集的上下文整理、牢靠，，，折叠进权重。。。。。等下一个请求到来时，，，它不必重新翻一遍历史，，，而是带着已经消化好的影象，，，一次前向给出谜底。。。。。 作者也谈到了该论文的局限：这是一篇arXiv预印本，，，并且，，，实验模子规模中等偏小，，，只是要领层面的探索。。。。。没人能据此推断这套机制已经能用在GPT、Claude、Gemini这些生产系统上，，，中心还隔着很长的路。。。。。 但它至少提醒了我们：让大模子变强的方法，，，未必只是让它在醒着的时间算得更多，，，有时让它闲下来，，，反而是让它变强的最先。。。。。