2025年上半年，，，AI开源领域的竞赛异常强烈，，，主要围绕着几个焦点偏向睁开：首先是效率竞赛，，，各路玩家不再纯粹追求千亿、万亿参数的“巨无霸”模子，，，而是更专注于通过新架构和训练要领，，，用更小的参数实现更强的性能。。。。。。其次，，，多模态已成标配，，，纯文本模子越来越少，，，新宣布的旗舰模子险些都具备了处置惩罚图像、视频等多种信息的能力。。。。。。 最后，，，智能体（Agent）是新战场，，，让AI能够挪用工具、自主完成使命，，，成为了权衡模子能力的要害指标。。。。。。在这样的配景下，，，智谱AI在今天正式开源了其最新的多模态模子：GLM-4.1V-9B-Thinking。。。。。。 GLM-4.1V-9B-Thinking只有9B参数，，，但在18个测试中，，，体现却能持平甚至凌驾72B参数的Qwen-2.5-VL-72B。。。。。。更主要的是，，，它引入的“思索范式”，，，通过课程采样强化学习 RLCS（Reinforcement Learning with Curriculum Sampling）周全提升模子能力，，，让我们能清晰地看到AI怎样对重大的视觉信息举行推理，，，而不但仅是给出一个“黑盒”式的谜底。。。。。。 视觉编码器用的是AIMv2-Huge，，，这是个很强的视觉模子。。。。。。但智谱做了个主要改动：把古板的2D卷积换成了3D卷积，，，这样做的利益是能更好地处置惩罚视频，，，由于多了时间维度。。。。。。关于静态图片，，，就通过复制帧的方法坚持名堂一致。。。。。。 然后是位置编码的刷新。。。。。。智谱加入了2D-RoPE（二维旋转位置编码），，，让模子能处置惩罚种种希奇尺寸的图片。。。。。。什么看法？？？？？？宽高比凌驾200:1的图片都能处置惩罚，，，4K区分率也没问题。。。。。。同时还保存了原来ViT的位置嵌入，，，通过双三次插值动态适配差别区分率。。。。。。 中心的适配器是个MLP结构，，，主要认真把视觉信息和语言信息毗连起来。。。。。。这部分看起来简朴，，，但很要害，，，决议了视觉和语言信息能不可有用融合。。。。。。 语言解码器用的是GLM架构，，，也做了刷新。。。。。。原来的RoPE位置编码被扩展成了3D-RoPE，，，增强了对多模态输入的空间明确能力，，，同时坚持文本天生的原有性能。。。。。。 整个架构的巧妙之处在于，，，每个组件都不是简朴拼接，，，而是深度融合。。。。。。视觉信息经由编码后，，，通过适配器与语言模子深度整合，，，最后输出的不但是谜底，，，尚有完整的推理历程。。。。。。 训练历程也很有考究。。。。。。分三个阶段：预训练、监视微调（SFT）和课程采样强化学习（RLCS）。。。。。。预训练阶段又分为多模态预训练和长上下文一连训练；；；然后是监视微调，，，专门用高质量的CoT（头脑链）数据来训练推理能力；；；最后是课程采样强化学习，，，通过RLVR和RLHF两种要领周全优化性能，，，通过课程采样，，，在这些使命上开展由易而难的动态大规模强化学习训练，，，模子在适用性、准确性和稳健性等方面取得了显著提升。。。。。。 模子的思索历程很是详尽，，，它首先剖析了“正四棱柱”的几何特征，，，识别出底面是正方形，，，侧棱与底面笔直。。。。。。甚至思量了用空间坐标系来解题的可能性，，，但最终选择了更精练的几何法。。。。。。 光会做数学题还不敷，，，我们想看看GLM-4.1V-9B-Thinking在生涯场景里的体现，，，于是给它发了一段最近正在实验的家常菜“农家一锅香”的烹饪教程视频。。。。。。 有意思的是，，，模子似乎袒露了它处置惩罚视频的可能方法。。。。。。在回覆中可以视察到它引用了多个“页面”或帧作为剖析参考，，，这些页面的序号和视频的秒数相对应，，，可能是将视频明确为一系列准时间顺序排列的要害帧截图。。。。。。 它能精准地定位到第27秒对应的截图，，，并形貌出其时的行动是“用勺子打出多余的油脂”。。。。。。更锦上添花的是，，，它还自动诠释了这么做的目的——是为了“镌汰油腻感”，，，而这正是我们准备追问的下一个问题。。。。。。 回覆如下：这张图是一个网络迷因（meme），，，用来表达**情侣关系中因对电子装备文件的明确差别而爆发的小误会与不信任感**，，，详细寄义可拆解为：文字说明：“When she sees a folder named "models" in your personal laptop and all it contains some file ending with .pkl, .pt or .pth” 意思是 *当她看到你小我私家条记本电脑里有个叫“models”的文件夹，，，内里全是带 .pkl、.pt 或 .pth 后缀的文件时*。。。。。。图像场景：画面中女性（通常代表女友/妻子视角）面露疑惑、担心，，，手持手机（可能是在诘责或视察）；；；男性（代表朋侪）在浴室（可能刚竣事独处时间后回到空间），，，整体气氛透露出“她对你电脑里的‘models’文件夹存有疑虑”，，，而现实上：这些文件扩展名（`.pkl`、`.pt`、`.pth`）常见于机械学习/人工智能领域（`.pkl` 是 Python 的序列化名堂，，，`.pt` 和 `.pth` 多是 PyTorch/TensorFlow 等框架下的模子权重文件），，，属于手艺开发资料；；； 但“models”字面容易让人误以为是“模特照片”等非手艺关联的内容，，，导致情侣间对文件夹用途爆发**认知误差**——女方可能以为这是和“外部女性/不适当内容”有关的证据，，，进而体现出不信任、焦虑的情绪。。。。。。 简言之，，，这张图诙谐地展现了“由于行业术语/文件命名歧义，，，导致亲密关系中泛起小误会，，，一方对另一方隐私/装备内容爆发嫌疑”的场景，，，常用于奚落“程序员/科技从业者朋侪被质疑电脑内容”的共识感~ 可以看到，，，模子诠释了所有的事实，，，但没能点出这个梗的焦点——那种由信息差造成的、程序员“有苦说不出”的重大情绪反差。。。。。。不过依附9B的参数能做到这一步，，，已经相当不错了。。。。。。 最后，，，为了测试GLM-4.1V-9B-Thinking的逻辑与创意融合能力，，，我们选择了一个更具挑战性的使命，，，让它解读天下名画《阿尔诺芬尼匹俦像》，，，并模拟其气概创作一段商业文案。。。。。。 效果也相当精彩。。。。。。模子不但准确解读了画作的庄重气氛和镜子、绿色长裙等元素的象征意义 ，，，还能将这种“注重传承和左券”的感受，，，巧妙地迁徙到了为“传世信托”撰写的宣传文案中。。。。。。 从剖析画作细节，，，到提炼“见证”与“永恒”等要害词，，，再到将其应用在文案创作的完整逻辑链条，，，迫使模子险些挪用了从知识库、逻辑链到语言美学的所有能力，，，这项使命的耗时也最长（耗时22597ms）。。。。。。 这是一个相当亮眼的效果。。。。。。详细来看，，，在28项果真评测使命中，，，它有23项做到了同级别最佳。。。。。。更值得注重的是，，，其中有18项使命的体现，，，持平甚至凌驾了参数目是它8倍的Qwen-2.5-VL-72B模子。。。。。。这意味着模子在“参数效率”（即用更小的模子尺寸抵达更高的性能）上做得很是精彩。。。。。。 在科学、手艺、工程、数学（STEM）领域体现突出。。。。。。在MMMU、MathVista、AI2D等多个需要严谨数理逻辑和科学知识的测试中，，，它的得分都凌驾了参数目远大于它的敌手。。。。。。 在需要细腻明确的使命上优势显着。。。。。。例如，，，在需要识别图表内容的ChartQA、ChartMuseum，，，以及处置惩罚长文档的MMMLongBench-Doc评测上，，，它的得分都大幅领先于同级别的其他模子。。。。。。 在新兴的Agent和代码能力上很强。。。。。。特殊是在GUI Agent（图形界面署理）和Coding（代码天生）这两个磨练模子与数字天下深度交互能力的领域，，，它的提升尤其显著。。。。。。 可以看到，，，在经由SFT（监视微调）的基础上，，，再加入RL训练后，，，模子在GUI Agents、视频明确、STEM等多个维度上都有了5%到7%不等的显著增添。。。。。。这从数据上直观地证实晰其训练要领的有用性，，，也诠释了为什么它能抵达云云高的性能水平。。。。。。 总的来说，，，这些量化数据印证了我们在第一部分提到的看法，，，不是靠堆参数，，，而是靠精巧的架构设计和训练战略，，，让模子施展出了远超参数规模的能力。。。。。。 从手艺角度看，，，9B参数能抵达72B参数的效果，，，这对整个行业都有启发意义。。。。。。不是所有公司都能肩负得起训练超大模子的本钱，，，但若是能通过更好的架构和训练要领抵达同样效果，，，那门槛就降低了许多。。。。。。 这种周全的能力，，，也正好契合了目今AI生长的一个焦点趋势：自主智能体（Autonomous Agents）。。。。。。GLM-4.1V-Thinking所具备的GUI Agent能力，，，让它有潜力成为这一趋势下的要害赋能工具，，，在未来的企业自动化和数字化转型中施展作用。。。。。。 而凭证官方信息，，，这次宣布的9B模子只是一个最先，，，更大参数的版本也已“蓄势待发”。。。。。。这种一连投入开源的战略，，，也获得了资源市场的强力背书，，，就在7月2日，，，智谱宣布已获得来自浦东创投和张江集团的10亿元战略投资。。。。。。这笔资金将为厥后续大模子的研发和开源生态的构建提供坚实包管。。。。。。 总之，，，GLM-4.1V-Thinking的宣布，，，值得关注的不但是它在评测数据上的优异体现。。。。。。更主要的是，，，它向我们展示了一种可能性，，，通过让AI的思索历程变得透明，，，并付与其处置惩罚多样化使命的全栈能力，，，AI正在从一个纯粹回覆问题的“工具”，，，向一个能明确、妄想并执行使命的“智能助手”迈进。。。。。。