这项由复旦大学、微软研究院与上海交通大学联合开展的研究，，，
，，，于2026年5月以预印本形式宣布，，，
，，，论文编号为arXiv:2605.23899，，，
，，，感兴趣的读者可通过该编号查阅完整原文。。。。 你有没有想过，，，
，，，一小我私家通过一直出错和积累履历，，，
，，，最终成为某个领域的专家——这个历程着实和今天的AI智能体正在爆发的事情很是相似。。。。现在的AI不但是回覆问题，，，
，，，它们能够自主执行使命：帮你整理电子表格、修复代码过失、在网上搜索资料、操控软件界面。。。。这类能自主行动的AI，，，
，，，研究者们叫它"语言智能体"（Language Agent）。。。。 这些智能体在完成使命的历程中，，，
，，，会留下大宗"履历"——哪些操作乐成了，，，
，，，哪些操作失败了，，，
，，，走了哪些弯路。。。。于是，，，
，，，一个听起来很自然的想法降生了：能不可把这些履历提炼成一份"手艺手册"，，，
，，，让智能体在下次做类似使命时直接参考，，，
，，，从而体现得更好？？？？这份手册，，，
，，，研究者们称之为"手艺"（Skill）。。。。 现在已经有不少要领可以自动从AI的行为日志中提炼出这样的手艺手册，，，
，，，而不需要人类专家手工编写，，，
，，，这极大地降低了本钱、提高了可扩展性。。。。然而，，，
，，，一个要害问题却恒久被忽视：这些自动天生的手艺，，，
，，，真的有用吗？？？？在什么情形下有用？？？？为什么有时间反而会让AI变得更差？？？？ 这支来自复旦大学、微软研究院与上海交通大学的研究团队，，，
，，，破费大宗精神构建了一套系统性的评测框架，，，
，，，第一次从"手艺是怎么爆发的、怎么被提炼出来的、怎么被使用的"这三个环节周全审阅了这个问题。。。。他们的发明既让人振奋，，，
，，，也令人警醒——手艺确实有用，，，
，，，但远不是万能的，，，
，，，背后有大宗玄妙的纪律值得深挖。。。。 要明确这项研究，，，
，，，先得弄清晰AI手艺是怎么"活"起来的。。。。研究团队用一个三段式流水线来形貌整个历程，，，
，，，这三段划分对应着手艺的降生、铸造和使用。。。。 第一段叫做"履历天生"。。。。这个阶段，，，
，，，智能体被放进一个使命情形里自由施展，，，
，，，就像一个刚入职的新员工去现实操作一遍，，，
，，，纪录下自己每一步做了什么、效果怎样。。。。乐成的操作和失败的操作都会被保存下来，，，
，，，形成一个"履历池"。。。。 第二段叫做"手艺提炼"。。。。有了这堆原始履历之后，，，
，，，系统会请另一个AI模子（或统一个模子）来饰演"导师"的角色，，，
，，，把这些履历归纳总结，，，
，，，提炼出一份结构化的手艺文档——类似一份操作说明书，，，
，，，告诉智能体面临这类使命时应该注重什么、阻止什么、重点做什么。。。。 第三段叫做"手艺使用"。。。。提炼好的手艺被塞进智能体的"事情影象"里，，，
，，，智能体在做新使命的时间可以随时参考这份说明书。。。。研究者通过较量"有手艺"和"没有手艺"两种情形下智能体的体现来权衡手艺的真实价值。。。。 这套流程中有两个要害角色：一个是"提炼者"（Extractor），，，
，，，认真把履历酿成手艺；；；；；；；另一个是"消耗者"（Target），，，
，，，认真用手艺去完成使命。。。。有意思的是，，，
，，，这两个角色可以由统一个AI模子担当，，，
，，，也可以由差别的模子划分担当。。。。研究团队正是通过系统地改变这两个角色，，，
，，，来视察手艺的效果怎样转变。。。。 为了让结论足够可靠，，，
，，，研究团队选择了五个完全差别类型的使命领域来做实验。。。。这五个领域涵盖了目今AI智能体最常见的应用场景：模拟家庭情形中的物理使命（好比找到苹果、洗濯杯子、把食物加热后放进冰箱，，，
，，，这个测试集叫ALFWorld）、操作电子表格（SpreadsheetBench）、解决真实软件代码中的误差（SWE-bench-Verified）、用网络搜索回回重大问题（SEAL-0），，，
，，，以及多轮工具挪用（BFCL-v4）。。。。 加入实验的AI模子同样来自差别的"门派"：OpenAI的GPT-5.4和GPT-5.4-mini、谷歌的Gemini-3.1-Pro和Gemini-3.1-Flash-Lite、阿里的Qwen3.5-35B和Qwen3.5-9B。。。。六个模子所有担当"消耗者"角色，，，
，，，其中除了Qwen3.5-9B（由于它无法可靠地遵照提炼协议），，，
，，，其余五个模子也同时担当"提炼者"角色。。。。 整个实验矩阵相当重大：五个领域乘以六个消耗者乘以五个提炼者，，，
，，，爆发了150个差别的（提炼者、消耗者、领域）组合，，，
，，，每个组合还重复评估三次取平均。。。。最终效果汇聚成一张详细的"效果单"，，，
，，，纪录每种组合下智能体在有手艺和没有手艺时的体现差别。。。。 研究团队还界说了两个便于剖析的综合指标。。。。"提炼效能"（Extraction Efficacy，，，
，，，EE）权衡的是统一个提炼者在面临差别消耗者时，，，
，，，平均能爆发几多提升——这反应的是提炼能力自己的优劣。。。。"目的可进化性"（Target Evolvability，，，
，，，TE）权衡的是统一个消耗者在接受差别提炼者制作的手艺时，，，
，，，平均能获得几多提升——这反应的是消耗者从手艺中受益的能力。。。。 整体来看，，，
，，，自动天生的手艺是有价值的。。。。在所有150个实验组合里，，，
，，，约莫75%的情形下，，，
，，，智能体在有了手艺之后体现得更好。。。。这听起来相当不错，，，
，，，但剩下的25%却是货真价实的"负迁徙"——智能体在有了手艺之后，，，
，，，体现反而变差了。。。。 这个25%的负迁徙比例并不低，，，
，，，并且在差别领域里漫衍极不匀称。。。。最"懦弱"的领域是ALFWorld（家庭物理使命），，，
，，，有快要47%的组合泛起了负迁徙。。。。相比之下，，，
，，，操作电子表格和修复软件误差这两个领域的负迁徙率只有13%，，，
，，，相对稳健得多。。。。由此可见，，，
，，，手艺的价值不是放之四海而皆准的，，，
，，，它的效果深受使命领域自己特征的影响。。。。 更出人意料的是提炼者的体现纪律。。。。凭证直觉，，，
，，，能力越强的AI，，，
，，，应该也能提炼出越好的手艺才对。。。。然而实验给出了完全相反的谜底。。。。以电子表格使命为例，，，
，，，规模最小、能力相对较弱的Gemini-3.1-Flash-Lite在提炼效能这一指标上排名第一，，，
，，，而基础使命体现最强的GPT-5.4反而排在最后。。。。这种反转说明，，，
，，，提炼手艺是一种自力于执行使命的特殊能力，，，
，，，两者并不挂钩。。。。好的"师傅"未必是最强的"选手"，，，
，，，而最强的"选手"也未必能把自己的履历总结成别人能学会的工具。。。。 同样令人深思的是消耗者端的差别。。。。在ALFWorld领域，，，
，，，GPT-5.4从所有五个提炼者那里都获得了稳固的提升，，，
，，，综合可进化性得分抵达了+4.93个百分点。。。。但同样是在这个领域，，，
，，，Gemini-3.1-Flash-Lite、Qwen3.5-35B和Qwen3.5-9B的综合得分都是负数——意味着对这些模子来说，，，
，，，手艺平均而言反而是有害的。。。。统一套手艺，，，
，，，有的AI吃得下，，，
，，，有的AI消化不了，，，
，，，甚至还会"消化不良"。。。。 既然手艺是从履历中提炼出来的，，，
，，，那么履历自己的组成绩显得至关主要。。。。研究团队专门设计了一个实验往返覆一个看似简朴的问题：在用于提炼手艺的履历池里，，，
，，，乐成的案例多好，，，
，，，照旧失败的案例多好？？？？ 实验要领很直接：牢靠统一个提炼者（GPT-5.4-mini），，，
，，，从统一批原始履历里抽取出五种差别比例的履历池，，，
，，，划分是100%乐成、75%乐成、50%乐成、25%乐成以及0%乐成（即所有失败）。。。。对这五种履历池划分提炼手艺，，，
，，，然后评估各自觉生的手艺在电子表格、代码修复和家庭使命三个领域里的效果。。。。 效果展现了两个主要纪律。。。。第一个纪律是：所有由失败案例组成的履历池，，，
，，，在所有领域里都爆发了最差的手艺。。。。这说明乐成的履历是手艺的基础，，，
，，，若是只有失败案例，，，
，，，提炼者无法从中获得"应该怎么做"的正面指导，，，
，，，而只能获得一堆"不要这样做"的忠言，，，
，，，这显然不敷。。。；；；；；；；痪浠八，，，
，，，失败履历能告诉你"坑在哪"，，，
，，，但光知道坑在哪还不敷，，，
，，，你还得知道"路在哪"。。。。 第二个纪律更玄妙：最优的乐成与失败比例因领域而异。。。。电子表格使命倾向于从乐成案例越多越好，，，
，，，代码修复使命在乐成占大都时抵达峰值，，，
，，，而家庭使命却在失败案例占较大比例时体现最好。。。。家庭使命的这一特征很有意思，，，
，，，由于在这个情形里，，，
，，，失败往往意味着走进了死角或者实验了无效行动，，，
，，，这类失败信息关于缩小探索空间、阻止重复过失具有特殊价值。。。。差别领域的使命结构差别，，，
，，，失败履历所携带的信息价值也就差别。。。。 解决了"用什么质料提炼"的问题之后，，，
，，，研究团队把眼光转向了手艺文本自己的质量问题：一份手艺文档看起来写得好，，，
，，，是否意味着它真的能让AI体现更好？？？？ 第一个测试针对的是名堂。。。。研究团队把统一份手艺内容重新改写成四种差别的名堂：有序编号列表、无序符号列表、复选框清单和通俗段落。。。。直觉上，，，
，，，名堂整齐、条理清晰的内容应该更容易被AI明确。。。。然而，，，
，，，统计磨练的效果显示，，，
，，，这四种名堂在所有六个消耗者模子上爆发的效果差别都无法与随机波动区脱离来（所有的统计p值都大于0.34）。。。。与此形成鲜明比照的是，，，
，，，换一个差别的提炼者所爆发的效果差别，，，
，，，在六分之五的消耗者上都抵达了统计显著性。。。。这意味着，，，
，，，手艺怎么排版基础无关紧要，，，
，，，要害在于它说了什么。。。。 第二个测试越发戏剧性。。。。研究团队让GPT-5.4饰演一个"评审官"，，，
，，，给它看两份从统一个消耗者履历中提炼出的手艺，，，
，，，让它判断哪份手艺更可能爆发更好的效果。。。。这个实验的用意是测试：一个语言模子依附自身的直觉，，，
，，，能否区分出真正有用的手艺？？？？ 谜底令人汗颜。。。。在没有任何评估标准指引的情形下，，，
，，，评审官选对的概率只有46.4%，，，
，，，和随机推测险些没有差别。。。。更糟糕的是，，，
，，，当研究团队只看那些两份手艺真实效果差别凌驾5个百分点的"悬殊"对决时，，，
，，，评审官选对的概率跌到了15.8%——这已经是显着地在反向选择了。。。；；；；；；；痪浠八，，，
，，，在两份手艺差别越大的时间，，，
，，，评审官越是倾向于选那份看起来更好但现实上更差的手艺。。。。手艺的"颜值"和"实力"之间，，，
，，，保存着令人担心的背离。。。。 研究团队从一个详细的反例里获得了启示。。。。他们发明，，，
，，，在真实效果最好的手艺里，，，
，，，往往包括这样的内容：明确指出某个详细的失败机制，，，
，，，并给出可执行的对策，，，
，，，例如"在无界面情形下，，，
，，，公式字符串不会被盘算引擎执行，，，
，，，因此必需在Python中预先盘算出静态数值再写入"。。。。而那些看起来语言严谨、逻辑清晰、现实效果却平平的手艺，，，
，，，往往只给出寻常的流程建议，，，
，，，好比"在编码前先明确使命要求"——这话没错，，，
，，，但毫无操作性。。。。 他们从电子表格使命里挑出了两份手艺：一份是由基础体现最强的消耗者（GPT-5.4）的履历提炼出的"强池手艺"，，，
，，，另一份是由基础体现最弱的消耗者（Qwen3.5-9B）的履历提炼出的"弱池手艺"。。。。然后，，，
，，，他们把这两份手艺划分注入六个差别的消耗者模子，，，
，，，视察各自的体现转变。。。。 强池手艺体现出了"普惠性"：六个消耗者所有从中受益，，，
，，，提升幅度从Gemini-3.1-Pro的+1.8个百分点到Qwen3.5-35B的+9.5个百分点不等。。。。相比之下，，，
，，，弱池手艺就分解得多：有些消耗者依然能从中受益，，，
，，，有些消耗者却泛起了显着的负迁徙，，，
，，，好比GPT-5.4在使用弱池手艺后反而下滑了2.0个百分点。。。。这再次印证了前面的发明：履历池的质量，，，
，，，直接决议了最终手艺的广谱适用性。。。。 研究团队还深入剖析了手艺对智能体行为的现实影响，，，
，，，选取了GPT-5.4（受益显着）和Qwen3.5-9B（部分情形下受损）这两个比照鲜明的案例举行详细视察。。。。 在决议行为上，，，
，，，手艺的注入改变了智能体在使命最先时的整体战略选择。。。。对GPT-5.4来说，，，
，，，手艺指导它从"写公式作为谜底"这种战略转向"用Python盘算出数值再写入"这种更可靠的战略——这是一种战略纠正，，，
，，，而非能力扩展。。。。对Qwen3.5-9B而言，，，
，，，手艺也推动了战略转变，，，
，，，让它实验更原生的事情表操作方法，，，
，，，但这种更重大的操作方法反而增添了它蜕化的概率，，，
，，，得不偿失。。。。 在探索行为上，，，
，，，两个模子在接受手艺后都更频仍地在正式行动之前先检查事情表的结构、表头和数据规模。。。。但对Qwen3.5-9B来说，，，
，，，这种特另外探索并不总能转化为更好的执行，，，
，，，有时反而让推理链条变得更长更重大，，，
，，，最终仍然过失收场。。。。 在工具使用行为上，，，
，，，手艺的影响不是让模子去"挪用手艺工具"，，，
，，，而是悄无声息地改变了它们使用现有工具的方法。。。。GPT-5.4变得更倾向于用有界线；；；；；；；さ男慈氩僮骱突诿愕牡ノ桓穸ㄎ；；；；；；；Qwen3.5-9B则从数据框式的整体重写转向了更细腻的单位格级别操作，，，
，，，虽然在结构保真度上有所提升，，，
，，，但执行的稳固性却下降了。。。。 起点是一个简朴的比照：若是直接问AI"评判一个好手艺应该看哪些维度"，，，
，，，它会给出什么谜底？？？？效果AI列出了七个维度：清晰度、完整性、精练性、逻辑结构、名堂质量、语气中立性和普遍适用性。。。。这七个维度听起来都很合理，，，
，，，但研究团队把它叫做"外貌合理性评分标准"——由于这些维度关注的是文本的外观，，，
，，，而非现实效果。。。。 研究团队接下来用一套自动化流程来发明那些真正与效果相关的维度。。。。他们从实验矩阵中挑出了17对"效果差别大"的手艺对——也就是用同样的消耗者履历、但由差别提炼者爆发、效果相差悬殊的两份手艺。。。。然后让GPT-5.4逐对剖析：效果好的那份在哪些方面胜过效果差的那份？？？？网络完所有的比照剖析后，，，
，，，再把这些差别汇总、合并，，，
，，，最终提炼出七个候选维度，，，
，，，称为"原始评分标准"。。。。 这七个候选维度划分是：失败机制编码（说清晰为什么会失败，，，
，，，而不但是说会失败）、可操作的详细性（办法级别的操作指南，，，
，，，明确引用领域内的工具和工具）、情形与工具语义（编码工具和工具的现实验为方法）、战略切换条件（何时应该改变要领）、界线条件笼罩（处置惩罚特殊情形）、高危害操作黑名单（明确榨取某些有害操作模式）、以及基准对齐优先级（聚焦评估现实权衡的内容）。。。。 为了验证哪些维度真正有展望力，，，
，，，研究团队对每个维度单独测试：用这个维度作为判断依据，，，
，，，在那151对高差别手艺对里，，，
，，，效果更好的那份手艺是否确着实这个维度上得分更高？？？？最终，，，
，，，失败机制编码（准确率65.5%）、可操作的详细性（66.0%）和高危害操作黑名单（64.6%）三个维度脱颖而出，，，
，，，它们敌手艺效果的展望力显著高于随机水平。。。。这三个维度组合成了"验证后的评分标准"。。。。 把这套评分标准重新送给评审官，，，
，，，整体准确率从46.4%跳升到了73.8%。。。。更值得注重的是，，，
，，，那些最难判断的高差别手艺对（效果差别凌驾5个百分点），，，
，，，在无指引时评审官只有15.8%的概率选对，，，
，，，在有了三维度标准之后，，，
，，，选对的概率大幅反转，，，
，，，凌驾了一半。。。。 随后，，，
，，，研究团队把这套评分标准酿成了一段简短的"元手艺"（Meta-Skill）——一段形貌好手艺应该具备哪些特征的指导文字，，，
，，，在提炼者最先事情之前就塞进它的提醒词里，，，
，，，相当于给提炼者预先贯注了一套质量意识。。。。 最终效果相当具有说服力。。。。用七维外貌合理性标准作为指引时，，，
，，，九个评估格（三个领域乘以三个消耗者）里有六个泛起了性能下降，，，
，，，平均降低了0.59个百分点——这说明过失的质量标准不但是没用，，，
，，，还会起反作用。。。。而用三维验证后标准作为元手艺指引时，，，
，，，九个格所有泛起了性能提升，，，
，，，平均提升了1.55个百分点，，，
，，，在电子表格使命上的提升尤其显着，，，
，，，从原始手艺的效果再提高了2.3到3.7个百分点。。。。这套元手艺不需要修改任何底层流程，，，
，，，只需要在提炼者的系统提醒词里加一段话，，，
，，，就能稳固地改善手艺质量。。。。 归根结底，，，
，，，这支研究团队做的事情，，，
，，，是给"AI智能体学习履历"这件事做了一次彻底的体检。。。。他们发明，，，
，，，手艺这个机制总体上是有价值的，，，
，，，但绝非万仙丹：四分之一的情形下会帮倒忙，，，
，，，并且这种危害因领域、因模子的差别而截然不同。。。。 更主要的是，，，
，，，三个阶段的问题各不相同。。。。在履历天生阶段，，，
，，，需要在乐成案例和失败案例之间找到适合该领域的平衡点，，，
，，，而不是盲目堆砌某一种；；；；；；；在手艺提炼阶段，，，
，，，能力强的模子未必是好的提炼者，，，
，，，并且一份手艺看起来有没有原理，，，
，，，和它用起来是否有用，，，
，，，完全是两回事；；；；；；；在手艺使用阶段，，，
，，，差别的消耗者消化手艺的能力差别惊人，，，
，，，有的模子能把手艺转化为切实的战略提升，，，
，，，有的模子却会被手艺误导，，，
，，，走向更重大但更不稳固的操作路径。。。。 这对任何想要为自己的AI产品构建手艺库的人都有直接的参考价值。。。。首先，，，
，，，选择提炼者不可简朴地选"最强的模子"，，，
，，，而要思量它与消耗者、与使命领域的匹配水平。。。。其次，，，
，，，手艺提炼前的履历池组成值得认真设计，，，
，，，而不是简朴地堆越多越好。。。。最主要的是，，，
，，，用来判断手艺质量的标准，，，
，，，必需来自真实的效果数据，，，
，，，而不是直觉或审美——一份"看起来写得好"的手艺，，，
，，，很可能正是需要镌汰的那份。。。。 关于不在AI研究领域的通俗读者来说，，，
，，，这个故事或许也有一丝启发：履历积累和学习效果之间，，，
，，，原来就不是简朴的线性关系。。。。把别人的履历直接照搬过来，，，
，，，未必适合自己；；；；；；；而那些条理清晰、语言得体的"操作手册"，，，
，，，也未必比一份写着"上次就是由于X而失败、下次要做Y"的潦草条记更有用。。。。真正有价值的履历，，，
，，，在于它能不可帮你避开那些你最可能踩的坑。。。。 A：这项研究的实验效果显示，，，
，，，提炼手艺的能力和执行使命的能力是两种差别的特质，，，
，，，两者并不挂钩。。。。能力强的模子善于完成使命，，，
，，，但未必善于把自己的履历转化为别的模子能明确并使用的指导。。。。提炼手艺需要的是准确识别履历中真正有价值的操作纪律，，，
，，，并以对消耗者有用的方法表达出来，，，
，，，这和模子的整体能力巨细没有直接关系。。。。 A：实验批注，，，
，，，手艺消耗的效果因模子而异。。。。手艺注入不是给模子添加新工具，，，
，，，而是改变它的默认决议战略。。。。对某些模子来说，，，
，，，这种改变会指导它接纳更可靠的要领；；；；；；；对另一些模子来说，，，
，，，手艺里形貌的更重大操作方法凌驾了它稳固执行的能力规模，，，
，，，反而导致更多过失。。。。简朴来说，，，
，，，不是所有模子都能消化统一份手艺，，，
，，，消化能力自己就是因模子而差别的特质。。。。 A：元手艺是一段形貌好手艺应该具备哪些特征的指导文字，，，
，，，它基于三个真正与现实效果相关的维度：清晰说明为什么会失败的详细机制、提供可执行的操作办法而非寻常建议、以及明确列出哪些有害操作绝对要阻止。。。。使用方法很是简朴，，，
，，，只需要在AI提炼者最先事情之前，，，
，，，把这段形貌加入它的系统提醒词里即可，，，
，，，不需要修改任何底层流程，，，
，，，就能稳固提升最终手艺的质量。。。。