近年来，，，
，随着大模子从简朴问答，，，
，走向深度研究、医疗咨询、多模态天生和长程 Agent 使命，，，
，一个基础问题变得越来越难回覆：我们究竟应该怎样判断模子输出的质量？
？？？？ 以 Deep Research 报告评估为例，，，
，古板要领可能只是比照天生报告和参考报告的文本差别，，，
，或者让大模子给一个总体分数。。。。。。但一篇好报告并纷歧定要和参考报告写得一样，，，
，也很难用一个笼统分数归纳综合。。。。。。它需要同时知足多个要求，，，
，例如是否回覆了用户问题、笼罩了要害信息、引用了可靠证据、论证是否清晰、结论是否有用等等。。。。。。 Rubrics 的作用，，，
，就是把这些模糊的「好报告」标准拆解成明确的评价项，，，
，让评审者或 judge model 逐项检查和打分。。。。。。这样不但能判断报告总体好欠好，，，
，还能指出详细问题，，，
，并进一步把这些细粒度反响转化为训练信号，，，
，资助模子针对笼罩缺乏、证据不充分或逻辑不清等问题举行优化。。。。。。 这意味着，，，
，大模子的训练与评测正在从简单准确性信号，，，
，转向多维度、可诠释的质量标准。。。。。。Rubrics，，，
，正在成为毗连人类期望、使命要求和模子行为的主要接口。。。。。。 克日，，，
，来自中国人民大学高瓴人工智能学院的研究团队宣布综述论文《The Rules of the Game: A Survey of Rubrics for Large Language Models》。。。。。。论文共 40 页，，，
，系统梳理了 Rubrics 在大模子中的界说、结构要领、训练应用、评测场景与开放挑战。。。。。。论文同时维护了一连更新的 GitHub 项目，，，
，利便社区跟踪这一快速生长的偏向。。。。。。 早期大模子的使命往往具有相对清晰的输入输出形式，，，
，并且谜底的准确性是容易评估的。。。。。。例如问答使命可以较量标准谜底，，，
，代码使命可以运行测试用例，，，
，数学使命可以验证最终效果。。。。。。关于这些使命，，，
，准确率、执行乐成率或规则化奖励能够提供较直接的训练和评测信号。。。。。。 但随着模子能力扩展，，，
，使命难度也爆发了显着转变。。。。。。大模子正在被要求完成更开放、更高危害、更重大的使命。。。。。。例如：自动搜索资料并天生研究报告；；；；
；；在医疗、执法、金融等专业领域给出剖析；；；；
；；挪用外部工具完成多步使命；；；；
；；在多模态场景中天生或明确重大内容。。。。。。此时，，，
，输出质量通常不再由一个谜底决议，，，
，而是由多个维度配合决议。。。。。。 Rubrics 的价值正在这里展现出来。。。。。。它将「好谜底」拆解为一组明确的评价项，，，
，例如事实准确性、笼罩度、证据支持、推理严谨性、清静性、名堂合规性和现实可用性。。。。。。评测者可以逐项打分，，，
，也可以将这些分数聚合为最终效果。。。。。。与一个黑箱分数相比，，，
，Rubrics 提供的是可检查、可调解、可诊断的质量标准。。。。。。 在教育评估中，，，
，rubric 通常指一套评分指南：它说明评估者应该看哪些方面，，，
，以及差别质量水平划分意味着什么。。。。。。放到 LLM 中，，，
，Rubrics 可以明确为一组自然语言形式的评价标准，，，
，每个标准对应一个详细、可评估的质量维度。。。。。。 这篇综述给出了统一形式化：一个 rubric set 可以由若干 rubric item 组成，，，
，每个 item 包括自然语言形貌（详细的 rubrics 示例可以拜见图 1 下半部分）和主要性权重；；；；
；；关于输入使命和模子输出，，，
， judge model 逐项给出分数，，，
，再通过平均、加权求和或隐式聚合获得整体评价。。。。。。 更主要的是，，，
，论文对 Rubrics 与几个容易混淆的看法举行了区分和讨论。。。。。。LLM-as-a-Judge 解决的是「谁来评」，，，
，Rubrics 解决的是「按什么标准评」；；；；
；；reward model 通常直接输出一个标量分数，，，
，而 Rubrics 将评价标准显式列出；；；；
；；RLVR 依赖自动可验证的谜底，，，
，而 Rubrics 更适合那些需要多维度判断、难以完全验证的开放式使命。。。。。。 Rubrics 是否有用，，，
，首先取决于它们自己是否足够好。。。。。。一个过于宽泛的标准，，，
，例如 “回允许当有资助”，，，
，很难提供稳固的训练和评测信号；；；；
；；一个过于细碎或重复的标准，，，
，又可能带来冗余评分和噪声。。。。。。 第二类是比照天生。。。。。。相比只看一个谜底，，，
，比照天生会输入偏好对，，，
，例如一个高质量回覆和一个低质量回覆，，，
，让模子总结二者差别，，，
，从而提取更有判别力的标准。。。。。。 第三类是迭代优化。。。。。。研究者最先不再把 Rubrics 结构当成一次天生使命，，，
，而是引入迭代地验证、剖析、过滤等流程。。。。。。例如检测某个标准是否能稳固区分偏好对，，，
，递归拆分过粗的标准，，，
，最终获得更原子、更紧凑的 rubric set。。。。。。 第四类是在线与配合演化。。。。。。关于强化学习和 Agent 使命来说，，，
，静态 Rubrics 可能很快过时。。。。。。因此，，，
，部分事情实验让 Rubrics 随着 policy rollouts 更新，，，
，将新泛起的过失行为纳入评价标准，，，
，使 Rubrics 与模子训练历程配合演化。。。。。。 在模子训练中，，，
，Rubrics 的焦点作用是把重大质量要求转化为可优化的监视信号。。。。。。相比一个整体偏好标签，，，
，Rubrics 能告诉模子「那里做得好、那里需要改」，，，
，因此特殊适合开放式使命和多步 Agent 使命。。。。。。 标准的基于 rubrics 做 policy RL 的方法是：给定输入和模子天生的回覆，，，
，judge model 按 Rubrics 逐项打分，，，
，再将分数聚合为一个奖励，，，
，用于 PPO、GRPO 等强化学习算法。。。。。。这个历程可以作用在最终谜底上，，，
，也可以作用在完整轨迹上。。。。。。关于工具挪用 Agent、深度研究 Agent 或多模态推理模子，，，
，轨迹级 Rubrics 尤其主要，，，
，由于许多过失并不会直接体现在最终谜底中。。。。。。示例图如下： 不过，，，
，将多维 Rubrics 简朴加权为一个标量奖励是较量粗粒度且不无邪的，，，
，由于差别标准之间可能保存依赖、冲突或硬约束关系。。。。。。例如医疗问答中的清静性不应只是一个通俗加分项，，，
，而可能是 veto 条件（一旦违反则 reward 为 0）。。。。。；；；；
；；诖，，，
，许多事情进一步提出设计更先进更鲁棒的 rubric reward：包括可学习的 Rubric 权重、引入 veto 或 saturation 机制、连系情形反响、按难度举行 curriculum 训练，，，
，以及在 RL 算法内部连系 rubrics 设计优势预计。。。。。。 尚有一类事情将 Rubrics 从「事后打分工具」推进为「天生历程中的指导」。。。。。。模子可以先天生或读取 Rubrics，，，
，再据此妄想回覆；；；；
；；也可以把未知足的 Rubric 转化为反响，，，
，指导下一轮改写。。。。。。这意味着 Rubrics 不但能告诉模子一个输出得几多分，，，
，还能资助模子探索更高质量的输出空间。。。。。。 Rubrics 也被越来越多地用于 reward model training。。。。。。古板 reward model 往往只输出一个标量分数，，，
，难以诠释为什么某个回覆更好。。。。。。引入 Rubrics 后，，，
，reward model 可以被训练为先依据标准举行剖析，，，
，再给出偏好判断；；；；
；；也可以输出多个维度的分数，，，
，并通过显式聚合获得最终 reward。。。。。。凭证综述的整理，，，
，Rubrics 在 reward model training 中主要施展三类作用。。。。。。 古板 reward model 通常直接输出一个标量分数，，，
，评价标准隐含在模子参数中，，，
，研究者很难判断模子事实依据什么做出偏好判断。。。。。。引入 Rubrics 后，，，
，奖励模子可以被训练为先围绕给定标准举行逐项剖析，，，
，再输出最终偏好判断；；；；
；；也可以对差别 rubric 维度划分打分，，，
，再通过显式聚合获得最终 reward。。。。。。这样一来，，，
，奖励模子不再只是一个黑箱打分器，，，
，而是能够展示「为什么这个回覆更好」「哪些维度影响了最终分数」。。。。。。 除了最终偏好是否准确之外，，，
，Rubrics 还可以作为结构化参考单位，，，
，用来约束奖励模子的中心剖析历程。。。。。。例如，，，
，一些事情会将人工标注或西席模子天生的理由拆解为 rubric-level 的参考信号，，，
，并在训练中勉励 reward model 的剖析历程与这些标准坚持一致；；；；
；；也有要领要求模子先天生 Rubrics，，，
，再举行剖析和判断，，，
，并通过特另外 proxy model 评估天生 Rubrics 的质量，，，
，从而把 Rubrics 自己也纳入优化目的。。。。。。 古板偏好数据中往往包括长度、名堂、语气等浅层线索，，，
，reward model 可能学会这些外貌特征，，，
，而不是学习真正决议回覆质量的因素。。。。。。Rubrics 可以资助识别影响回覆质量的焦点维度，，，
，并据此结构更有针对性的训练样本，，，
，使奖励模子更关注事实性、完整性、清静性、推理质量等实质标准，，，
，而不是依赖「回覆更长」「名堂更整齐」这种。。。。。。 除了训练，，，
，Rubrics 另一个常见的用途是模子评测。。。。。。关于开放式使命，，，
，Rubrics 相当于一份显式的评价标准：它界说了需要检查的维度，，，
，怎样给分等等。。。。。。本文凭证通用使命和领域特定的使命对已有的基于 rubrics 评估的 benchmark 举行了分类： 在通用使命中，，，
，Rubrics 已被用于推理能力、深度研究、开放式天生、通用 Agent 能力和对齐评测。。。。。。例如在数学推理使命中，，，
，评测不再只看最终谜底，，，
，还会检查中心办法的准确性；；；；
；；深度研究使命的评测会同时关注信息笼罩、证据支持等维度；；；；
；；Agent 使命相关的评测则进一步关注工具选择、参数挪用、和多轮执行可靠性等方面。。。。。。 在专业领域中，，，
，Rubrics 的价值更显着。。。。。。例如，，，
，在医疗问答领域，，，
，人们需要专家制订标准来检查模子回覆中的医学准确性、清静危害和相同质量等等；；；；
；；在执法和金融使命中，，，
，我们需要评估事实适用、历程可审计、危害披露和实务可操作性；；；；
；；在这部分，，，
，综述凭证评估的工具（中心轨迹和最终谜底）和标准（事实性、清静性、专业表达和现实可用性）对已有的事情举行了详细的分类和讨论。。。。。。 首先是 reward hacking。。。。。。模子在训练历程中可能学会 hack rubrics 的外貌特征，，，
，而不是真正提升使命质量。。。。。。怎样设计更稳健的 Rubrics、并让设计 Rubrics 随训练历程的更新机制，，，
，是未来主要偏向。。。。。。 其次是 rubric-based reward model 的泛化。。。。。。许多 Rubrics 来自特定使命或领域，，，
，reward model 可能过拟合这些标准而丧失泛化性。。。。。。未来需要研究怎样让奖励模子在新使命、新领域下仍然有用地基于 Rubrics 举行 reward 盘算，，，
，尤其是在医疗、执法、金融和科学推理等高门槛领域。。。。。。 第三是评测误差。。。。。。Rubrics 可以提高评测的可诠释性，，，
，但并不可自动消除 bias。。。。。。Rubric 的写法，，，
，judge model 的选取等等都会对最终的评测爆发 bias。。。。。。怎样设计更鲁棒更稳固的 Rubric-based evaluation 是一个需要解决的问题。。。。。。 别的，，，
，个性化 Rubrics 和 Rubric 清静也正在成为新问题。。。。。。个性化 Rubrics 可以更好地描绘用户偏好，，，
，但也可能太过迎合浅层偏好，，，
，甚至与清静标准冲突。。。。。。与此同时，，，
，Rubrics 自己也可能成为攻击面：恶意或隐藏的标准改写可能悄悄改变 judge 的偏好偏向，，，
，并进一步影响训练数据和模子行为。。。。。。 这篇综述的焦点意义，，，
，不但是枚举了 Rubrics 相关事情，，，
，而是把一个正在快速扩张的研究偏向放进了统一框架中：Rubrics 是大模子训练与评测中的显式质量接口。。。。。。它界说标准，，，
，组织反响，，，
，毗连人类偏好、使命约束与模子优化。。。。。。 随着大模子继续走向开放式、高危害和 Agentic 应用，，，
，系统需要的不但是更强的天生能力，，，
，还需要更清晰的质量界说。。。。。。Rubrics 的价值正在于此：它让「好谜底」不再只是一个模糊直觉，，，
，而成为一组可以讨论、检查、修改和优化的明确标准。。。。。。