这条通告在海内 AI 圈刷了一整周。。。。。业界第一反应分成几派。。。。。最大那派说这是"又一轮价钱战"——这两年从智谱、DeepSeek、字节豆包到阿里通义，，，，国产大模子轮着降价，，，，谁不在卷。。。。。 另一派往气馁处看：小米刚通告今年利润腰斩，，，，这时间还往 AI 烧 600 亿、API 直接砍九成——典范的"赔本抢市场"。。。。；；；；；Ｉ杏腥艘晕馐 DeepSeek 效应继续——后者把整个行业的定价基准拽到了地板上，，，，谁不跟谁出局。。。。。 它不是全模子降价。。。。。99% 的折扣专门针对一档叫Input (Cache Hit)的定价——也就是"用户在长对话里重复读历史上下文"那部分。。。。。通俗的新输入（No Cache Hit）降幅小许多，，，，模子输出（Output）降幅最小。。。。。 你点一杯半糖拿铁，，，，咖啡店有两种做法Ｔ媚课重新磨豆子量糖浆倒奶，，，，质料人工都付一次；；；；；；可是模子知道这周你天天都要喝同样的半糖拿铁，，，，爽性做一大壶存进冰柜，，，，下次按一杯舀一份。。。。。MiMo 这次做的是后者——把用户重复读的部分从"现算"改成了"现取"，，，，以是这部分的真实本钱靠近 0，，，，自然能给 99% 折扣。。。。。 模子在和你对话时，，，，每个 token 都要算一份"中心状态"，，，，存起来供下一步用。。。。。这个工具叫KVCache——可以明确成模子的"短期影象条记本"。。。。。每说一句话，，，，模子在条记本上记下这句话的摘要，，，，下次直接翻条记，，，，不必重新听一遍你说过的所有内容。。。。。 古板模子每一层都做"Full Attention"——也就是每个 token 都要看完整段对话所有 token，，，，条记本越翻越厚。。。。。MiMo-V2.5-Pro 改了架构：70 层里 60 层只看最近 128 个 token（SWA，，，，Sliding Window Attention），，，，只有 10 层"档案治理员"看所有。。。。。 这是降本的第一块地基。。。。。打个例如，，，，原本公司每个员工都被要求记着所有的聚会纪录，，，，效果每小我私家的脑子都不敷用、效率也低。。。。。新划定把 60 个员工的脑肩负降到 1/7，，，，只留 10 个档案治理员管所有历史——公司整体影象能力没下降，，，，但效率提升 7 倍。。。。。 古板的 KVCache 系统是按"最大可能用量"给所有层统一分派显存的。。。。。意思是：哪怕 60 层 SWA 只需要小簿本，，，，系统也按"档案治理员的大簿本"给所有层都分派——SWA 省下来的空间被白白预留了，，，，即是没省。。。。。 打个例如，，，，原本公司给每个员工都发了"能装 100 年文件的档案柜"——但 60 个员工着实只需要"装一周文件的小柜子"，，，，那些大柜子里 99% 的空间是空的。。。。。新做法是按现实需要分柜子。。。。。效果整个办公室能多装 5 倍以上的同事进来事情——同样一台 GPU 能效劳的并发用户数翻了 5 倍。。。。。 许多用户的对话有相同开头——统一段 system prompt、统一段代码库、统一份长文档。。。。。系统会把这些算过的效果存起来，，，，下一次匹配上就直接复用。。。。。这个机制叫前缀缓存。。。。。 但 SWA 模式下泛起一个坑：两条请求 token 一样，，，，不即是 KV 还在。。。。。？？？？？赡芮白核愎，，，但 SWA 窗口外的部分早就被镌汰了。。。。。若是系统还按"token 一样就掷中"的旧规则给你复用，，，，会读到无效或被笼罩的数据，，，，模子效果会直接崩。。。。。 打个例如，，，，图书馆有 100 万本书，，，，你想借全套共计三本的《三体》。。。。。原来的架构会告诉你"这本书在"，，，，你跑已往发明书架上只剩封面和第一部，，，，后面两部都被借走了。。。。。这种"伪掷中"让你白跑一趟还要重借。。。。。新系统的规则改成只允许你能完整借到的那部分——先给你第一本，，，，然后把后面两本再给你调过来。。。。。 听起来似乎更严酷、掷中率会下降。。。。。但现实相反：由于 SWA 让 KVCache 体积压到 1/7，，，，同样存储空间能装的内容多了好几倍，，，，真实掷中率反而大幅度提升。。。。。 显存（GPU 上的 HBM 内存）很贵也很有限——一台 H100 八卡机才 640GB 显存，，，，但 MiMo 要存的 KVCache 可能是几十 TB 量级。。。。。以是必需分层：最近用的放显存（L1），，，，稍微旧的放 CPU 内存（L2），，，，冷数据存到漫衍式缓存（L3）。。。。。 跟你管钱一个原理。。。。。钱包里的现金是显存——随用随取但放不了几多。。。。。银行卡余额是 CPU 内存——取一次要 30 秒但能放许多。。。。。按期存款是 L3 漫衍式缓存——取一次要 2 分钟但自制许多。。。。。 小米存储团队的做法纷歧样。。。。。他们自研了一套叫GCache的漫衍式缓存，，，，直接安排在 GPU 机械自带的 SSD 上——跟训练使命、推理使命混布在统一台机械里。。。。。 这件事的杀伤力比看上去大。。。。。通例的"AI 公司算力账"里，，，，存储本钱是一个牢靠支出项——你的模子越大、用户越多，，，，存储账单越长。。。。。GCache 这套做法把这一项直接打掉。。。。。连系 SWA 的小体积 + 掷中率 93-95%，，，，KVCache 在 L3 的存活时间（TTL）从几分钟延伸到几小时甚至几天——TTL 越长，，，，历史 context 的可掷中窗口越宽，，，，缓存掷中率越高，，，，99% 谁人折扣就越站得住。。。。。 三是TTFT 优化。。。。。在排队等推理的行列里，，，，优先调理真实盘算量小的请求（也就是大宗掷中缓存的请求）——阻止它们被"全新输入"那种重盘算请求壅闭。。。。。 好比，，，，在通例的机场调理中，，，，所有飞统一个目的地的旅客集中到统一个候机厅，，，，共享行李提取流程——这是亲和调理。。。。。带登机箱的和带 3 大箱托运的分两条安检通道走，，，，快的不被慢的拖——这是长度分桶。。。。。登机时优先放只带登机箱的人，，，，他们登机快，，，，让飞性能早腾飞——这是 TTFT 优化。。。。。 前面五件事都在优化"读"那一侧——让用户重复读历史 context 的本钱压到靠近 0。。。。。第六件事是优化"写"那一侧——也就是模子天生下一个 token 的历程。。。。。 打个例如，，，，古板打字是一个字一个字打——你想打"今天天气"，，，，要按 4 次键。。。。。MTP 像有个自动补全在猜你下一个 1-2 个字是什么——若是它猜对了，，，，你就不必再按那两次。。。。。 这件事的意义在于，，，，99% 折扣专门指向 Input (Cache Hit)，，，，但模子现实效劳用户时，，，，input 和 output 是统一次请求里爆发的——若是 output 没。。。。。，，，整体请求本钱就只省了一半。。。。。MTP 让 output 那一半也降下来，，，，整套降价的盈利模子才闭环。。。。。 SWA 架构 → KVCache 1/7 → 双池真正释放容量 → 统一台 GPU 能装 5+ 倍并发 → 前缀缓存掷中率 93-95% → 95% 请求险些不必算 → GCache 让存储本钱归零 → 调理把掷中请求优先调走 → MTP 让天生也省 → 单位请求 GPU 时间下降一个数目级 → 单位本钱下降 95%+ → 定价降 99%，，，，毛利率仍为正。。。。。 转头看业界一最先的几种解读，，，，每种都有部分原理。。。。。这两年中国大模子公司之间的价钱战是真的；；；；；；小米利润腰斩还要砸 AI 是真的；；；；；；DeepSeek 把行业定价拽到地板上也是真的。。。。。 但罗福莉这次果真手艺博客并且详细的手艺细节果真拆解，，，，无疑是希望回手关于价钱战的说法，，，，让“手艺的问题归手艺、营销的问题归营销。。。。。” 她在博客中写道，，，，MiMo-V2.5 系列模子的推理效率并非来自某一环节的单点突破，，，，而是多维度协同优化的效果。。。。。Hybrid SWA 让 prefill 与 decode 同时受益，，，，但未经充分优化的 KVCache 实现反而会在各环节抬高本钱。。。。。围绕这一目的，，，，MiMo团队系统性重构了 KVCache 治理、分级缓存、前缀缓存树，，，，攻克 SWA KVCache 焦点问题，，，，优化了调理战略及 Prefill / Decode 链路，，，，并经线上真实场景磨练，，，，最终将其理论效率优势真正兑现到生产情形。。。。。至此，，，，Hybrid SWA 才施展出在长文推理上兼具强度与效率的架构优势。。。。。再组合 MoE 设置和多模态推理的种种优化，，，，极洪流平提高了线上推理效劳的性能。。。。。