手写这些手艺文档，，，，，，，实质上是一种试错的手工活。。。。。。写一版，，，，，，，跑几个使命看看效果，，，，，，，以为那里差池再改，，，，，，，改完再跑。。。。。。这个历程和之前手调 prompt 没有实质区别，，，，，，，只是工具从一句话酿成了一整份文档。。。。。。 这个问题似乎迎来了终点，，，，，，，微软在本周开源了SkillOpt，，，，，，，一个把 Agent 手艺文档看成「可训练参数」的文本空间优化框架，，，，，，，让手艺文档自我进化。。。。。。 焦点思绪很简朴，，，，，，，不训练模子权重，，，，，，，只训练那份指导 Agent 行为的自然语言文档。。。。。。在 7 个目的模子、6 个基准测试、3 种执行情形（直接对话、Codex、Claude Code）的所有 52 个评测组合中，，，，，，，SkillOpt 训练出的手艺文档所有抵达最优或并列最优 SkillOpt 的焦点洞察可以用一句话归纳综合：Agent 的手艺文档就是它的「外部权重」，，，，，，，既然内部权重可以用梯度下降来优化，，，，，，，外部权重也应该有一套系统化的训练要领。。。。。。 Rollout（前向撒播）：冻结的目的模子拿着目今版本的手艺文档去执行一批使命，，，，，，，纪录完整的执行轨迹，，，，，，，包括新闻、工具挪用、验证反响、最终得分。。。。。。这一步产出的是「证据」，，，，，，，相当于神经网络的前向撒播效果。。。。。。Reflect（反向撒播）：一个自力的优化器模子剖析这批执行轨迹。。。。。。要害设计是，，，，，，，失败案例和乐成案例被脱离反思。。。。。。失败的 minibatch 用来发明「哪些操作规则需要修正」，，，，，，，乐成的 minibatch 用来确认「哪些现有规则在起作用，，，，，，，不可动」。。。。。。这一步相当于盘算「文本空间的梯度」，，，，，，，告诉系统手艺文档该往哪个偏向改。。。。。。Edit（参数更新）：优化器模子基于反思效果，，，，，，，提出敌手艺文档的结构化编辑操作：添加新规则（add）、删除失效规则（delete）、替换需要修正的规则（replace）。。。。。。Gate（验证门控）：候选的新手艺文档必需在一个 held-out 的验证集上跑一遍，，，，，，，只有性能严酷提升时才被接受。。。。。。这一步避免过拟合，，，，，，，确保每次更新都是真正的刷新。。。。。。 训练神经网络时，，，，，，，学习率太大会导致灾难性遗忘，，，，，，，模子学了新工具就忘了旧工具。。。。。。SkillOpt 在文本空间遇到了完全相同的问题：若是一次编辑改动太大，，，，，，，可能把之前学到的有用规则笼罩掉。。。。。。 解决计划是引入「文本学习率」（textual learning rate）：每一步允许的编辑操作数目有上限。。。。。。论文中默认设置为 lr=4，，，，，，，即每步最多 4 个 add/delete/replace 操作。。。。。。这个约束迫使优化器每次只做小幅调解，，，，，，，坚持训练稳固性。。。。。。 另一个精巧的设计是 rejected-edit buffer。。。。。。当一个编辑提案被验证门控拒绝时，，，，，，，它不会被简朴扬弃，，，，，，，而是进入一个缓冲区。。。。。。优化器在后续的反思阶段可以看到这些「失败的实验」，，，，，，，从而阻止重复提出类似的无效编辑。。。。。。 Slow Update：每个 epoch 竣事时，，，，，，，对整个 epoch 内所有被接受的编辑做一次纵向比照剖析，，，，，，，找出跨 step 的一致性模式，，，，，，，产出一次更大规模的更新。。。。。。这类似于深度学习中的学习率 warmup 或周期性大步更新。。。。。。Meta Skill：优化器自身也有一份「元手艺」文档，，，，，，，纪录它在优化历程中积累的履历（好比「对这个 benchmark，，，，，，，关注工具挪用的名堂比关注推理办法更有用」）。。。。。。这份元手艺在 epoch 间一连更新，，，，，，，让优化器自己也在进化。。。。。。 要害的是，，，，，，，这两个机制只在训练时保存。。。。。。安排时，，，，，，，目的模子只需要那份最终的 best_skill.md，，，，，，，不需要任何特另外模子挪用或影象？？？？？？。。。。。。推理时的开销为零。。。。。。 小模子的提升幅度反而更大，，，，，，，这说明手艺文档对能力较弱的模子资助更显著。。。。。。一份好的操作手册，，，，，，，对新手的价值远大于对专家的价值，，，，，，，这个直觉在 AI Agent 上同样建设。。。。。。 值得注重的是，，，，，，，TextGrad 和 GEPA 都是已有的文本优化要领，，，，，，，SkillOpt 对它们的优势说明，，，，，，，系统化的训练循环设计（学习率、验证门控、负反响缓冲）确实比松散的自我修正更有用。。。。。。 跨模子迁徙：在 GPT-5.4 上训练的 LiveMath 手艺，，，，，，，直接迁徙到 GPT-5.4-nano 上使用，，，，，，，提升 15.2 分。。。。。。不需要针对小模子重新训练。。。。。？？？？？？缜樾吻ㄡ悖涸 Codex 情形中训练的 SpreadsheetBench 手艺，，，，，，，直接迁徙到 Claude Code 情形中使用，，，，，，，提升 31.8 分。。。。。。这意味着你在一个 Agent 框架里优化好的手艺文档，，，，，，，换到另一个框架里依然有用。。。。。。自优化：纵然用 GPT-5.4-nano 同时作为目的模子和优化器模子（自己优化自己），，，，，，，SpreadsheetBench 上仍然提升了 10.4 分。。。。。。这说明 SkillOpt 的训练循环自己提供了足够的结构化约束，，，，，，，纵然优化器不比目的模子更强，，，，，，，也能发明有用的刷新偏向。。。。。。安排极简：最终安排时只需要一个 best_skill.md 文件。。。。。。不需要优化器模子，，，，，，，不需要影象？？？？？？，，，，，，，不需要任何特另外推理开销。。。。。。 「将任何通用的目的容器实例视为有用」「维护一个严酷编号的已搜索荟萃，，，，，，，不重复检查已视察过的位置」「在某一类位置一连多次未掷中后，，，，，，，扩大搜索规模」 这些规则都是从失败轨迹中自动提炼出来的。。。。。。好比第三条，，，，，，，来自 Agent 在某些使命中重复搜索统一类位置却找不到目的物品的失败履历。。。。。。优化器视察到这个模式后，，，，，，，提出了「扩大搜索规模」的规则。。。。。。 整个历程中，，，，，，，Step 3 的编辑一度导致验证集性能下降，，，，，，，但被 slow update 机制救回。。。。。。Step 4 的训练集得分更高，，，，，，，但验证集没有提升，，，，，，，因此被门控拒绝。。。。。。这种「提出假设、验证、接受或拒绝」的循环，，，，，，，和人类科研的要领论如出一辙。。。。。。