手写这些手艺文档，，，
，，实质上是一种试错的手工活。。。。。写一版，，，
，，跑几个使命看看效果，，，
，，以为那里差池再改，，，
，，改完再跑。。。。。这个历程和之前手调 prompt 没有实质区别，，，
，，只是工具从一句话酿成了一整份文档。。。。。 这个问题似乎迎来了终点，，，
，，微软在本周开源了SkillOpt，，，
，，一个把 Agent 手艺文档看成「可训练参数」的文本空间优化框架，，，
，，让手艺文档自我进化。。。。。 焦点思绪很简朴，，，
，，不训练模子权重，，，
，，只训练那份指导 Agent 行为的自然语言文档。。。。。在 7 个目的模子、6 个基准测试、3 种执行情形（直接对话、Codex、Claude Code）的所有 52 个评测组合中，，，
，，SkillOpt 训练出的手艺文档所有抵达最优或并列最优 SkillOpt 的焦点洞察可以用一句话归纳综合：Agent 的手艺文档就是它的「外部权重」，，，
，，既然内部权重可以用梯度下降来优化，，，
，，外部权重也应该有一套系统化的训练要领。。。。。 Rollout（前向撒播）：冻结的目的模子拿着目今版本的手艺文档去执行一批使命，，，
，，纪录完整的执行轨迹，，，
，，包括新闻、工具挪用、验证反响、最终得分。。。。。这一步产出的是「证据」，，，
，，相当于神经网络的前向撒播效果。。。。。Reflect（反向撒播）：一个自力的优化器模子剖析这批执行轨迹。。。。。要害设计是，，，
，，失败案例和乐成案例被脱离反思。。。。。失败的 minibatch 用来发明「哪些操作规则需要修正」，，，
，，乐成的 minibatch 用来确认「哪些现有规则在起作用，，，
，，不可动」。。。。。这一步相当于盘算「文本空间的梯度」，，，
，，告诉系统手艺文档该往哪个偏向改。。。。。Edit（参数更新）：优化器模子基于反思效果，，，
，，提出敌手艺文档的结构化编辑操作：添加新规则（add）、删除失效规则（delete）、替换需要修正的规则（replace）。。。。。Gate（验证门控）：候选的新手艺文档必需在一个 held-out 的验证集上跑一遍，，，
，，只有性能严酷提升时才被接受。。。。。这一步避免过拟合，，，
，，确保每次更新都是真正的刷新。。。。。 训练神经网络时，，，
，，学习率太大会导致灾难性遗忘，，，
，，模子学了新工具就忘了旧工具。。。。。SkillOpt 在文本空间遇到了完全相同的问题：若是一次编辑改动太大，，，
，，可能把之前学到的有用规则笼罩掉。。。。。 解决计划是引入「文本学习率」（textual learning rate）：每一步允许的编辑操作数目有上限。。。。。论文中默认设置为 lr=4，，，
，，即每步最多 4 个 add/delete/replace 操作。。。。。这个约束迫使优化器每次只做小幅调解，，，
，，坚持训练稳固性。。。。。 另一个精巧的设计是 rejected-edit buffer。。。。。当一个编辑提案被验证门控拒绝时，，，
，，它不会被简朴扬弃，，，
，，而是进入一个缓冲区。。。。。优化器在后续的反思阶段可以看到这些「失败的实验」，，，
，，从而阻止重复提出类似的无效编辑。。。。。 Slow Update：每个 epoch 竣事时，，，
，，对整个 epoch 内所有被接受的编辑做一次纵向比照剖析，，，
，，找出跨 step 的一致性模式，，，
，，产出一次更大规模的更新。。。。。这类似于深度学习中的学习率 warmup 或周期性大步更新。。。。。Meta Skill：优化器自身也有一份「元手艺」文档，，，
，，纪录它在优化历程中积累的履历（好比「对这个 benchmark，，，
，，关注工具挪用的名堂比关注推理办法更有用」）。。。。。这份元手艺在 epoch 间一连更新，，，
，，让优化器自己也在进化。。。。。 要害的是，，，
，，这两个机制只在训练时保存。。。。。安排时，，，
，，目的模子只需要那份最终的 best_skill.md，，，
，，不需要任何特另外模子挪用或影象？？？？？椤！。。。推理时的开销为零。。。。。 小模子的提升幅度反而更大，，，
，，这说明手艺文档对能力较弱的模子资助更显著。。。。。一份好的操作手册，，，
，，对新手的价值远大于对专家的价值，，，
，，这个直觉在 AI Agent 上同样建设。。。。。 值得注重的是，，，
，，TextGrad 和 GEPA 都是已有的文本优化要领，，，
，，SkillOpt 对它们的优势说明，，，
，，系统化的训练循环设计（学习率、验证门控、负反响缓冲）确实比松散的自我修正更有用。。。。。 跨模子迁徙：在 GPT-5.4 上训练的 LiveMath 手艺，，，
，，直接迁徙到 GPT-5.4-nano 上使用，，，
，，提升 15.2 分。。。。。不需要针对小模子重新训练。。。。？？？？？缜樾吻ㄡ悖涸 Codex 情形中训练的 SpreadsheetBench 手艺，，，
，，直接迁徙到 Claude Code 情形中使用，，，
，，提升 31.8 分。。。。。这意味着你在一个 Agent 框架里优化好的手艺文档，，，
，，换到另一个框架里依然有用。。。。。自优化：纵然用 GPT-5.4-nano 同时作为目的模子和优化器模子（自己优化自己），，，
，，SpreadsheetBench 上仍然提升了 10.4 分。。。。。这说明 SkillOpt 的训练循环自己提供了足够的结构化约束，，，
，，纵然优化器不比目的模子更强，，，
，，也能发明有用的刷新偏向。。。。。安排极简：最终安排时只需要一个 best_skill.md 文件。。。。。不需要优化器模子，，，
，，不需要影象？？？？？，，，
，，不需要任何特另外推理开销。。。。。 「将任何通用的目的容器实例视为有用」「维护一个严酷编号的已搜索荟萃，，，
，，不重复检查已视察过的位置」「在某一类位置一连多次未掷中后，，，
，，扩大搜索规模」 这些规则都是从失败轨迹中自动提炼出来的。。。。。好比第三条，，，
，，来自 Agent 在某些使命中重复搜索统一类位置却找不到目的物品的失败履历。。。。。优化器视察到这个模式后，，，
，，提出了「扩大搜索规模」的规则。。。。。 整个历程中，，，
，，Step 3 的编辑一度导致验证集性能下降，，，
，，但被 slow update 机制救回。。。。。Step 4 的训练集得分更高，，，
，，但验证集没有提升，，，
，，因此被门控拒绝。。。。。这种「提出假设、验证、接受或拒绝」的循环，，，
，，和人类科研的要领论如出一辙。。。。。