每个奖励管好自己的那几个词:多奖励强化学习的token级信用分配

2026-11-19 22:31:18    来源:科技行者    

你有没有想过这样一个场景:

一个 SQL 查询,格式完全正确,语法也能跑通,就是把 `>= 30` 写成了应该是 `> 30`。三个评委打分:格式对,能执行,但结果错了。现在问题来了,这个"结果错了"的惩罚应该打在哪里?

打在整条查询的每一个字上吗?包括那些完全没问题的 `SELECT`、`FROM`、`WHERE`?

这听起来很荒谬,但这正是当前大语言模型强化学习训练中正在发生的事情。

**核心问题:奖励对了,但奖励"打"错了地方**

现在训练大语言模型,流行用强化学习配合"可验证奖励",也就是用程序而不是人工去判断一个回答对不对。这个技术路线叫 RLVR

> RLVR*:Reinforcement Learning with Verifiable Rewards,用可自动验证的程序(而不是人工打分)来给语言模型的输出计算奖励信号,是目前大模型后训练的主流方法之一。

RLVR 里最有名的算法之一是 GRPO

> GRPO*:Group Relative Policy Optimization,一种强化学习算法,让模型针对同一个问题生成一组回答,再根据这组回答里谁好谁差来计算每个回答该获得多少"优势值",从而决定训练时该往哪个方向调整模型参数。

GRPO 原本是为单一奖励设计的,比如数学题对不对、代码能不能跑。但现实中的任务往往有多个评判标准同时存在。

比如一个工具调用智能体,既要把调用格式写对,也要选对函数和参数。一个文本转 SQL 的模型,既要让查询能跑起来,又要让查询结果和期望一致。一个遵循指令的模型,提示词里可能同时列了十几条要求,每一条都要满足。这种任务就叫多奖励强化学习,每个评判标准背后都站着一个独立的"验证器",各自打各自的分。

直接把这些奖励加起来喂给 GRPO 会出问题,因为不同的奖励组合,加和之后可能是同一个数字,模型完全看不出区别。打个比方,一个回答格式对、能执行、结果错,另一个回答格式错、能执行、结果对,如果恰好加起来总分相同,GRPO 眼里这两个回答就是等价的,可它们明显不是一回事。

为了解决这个"奖励塌缩"的问题,有研究者提出了 GDPO

> GDPO*:Group reward-Decoupled normalization Policy Optimization,先把每个奖励单独在同一组回答里做标准化,再加权求和,这样不同的奖励组合就不会被混淆成同一个数值。

GDPO 确实解决了"分不清谁是谁"的问题,但它留下了一个更隐蔽的毛病。它依然把每个奖励算出来的"优势值",整整齐齐地平摊到整条回答的每一个 token 上

> token*:语言模型处理文本时的最小单位,可以粗略理解为一个字、一个词或者一个标点符号。

也就是说,哪怕执行错误只是因为选错了一个列名,这个负分照样要摊到 `` 标签上,摊到 `SELECT` 上,摊到每一个无辜的字符上。这就是文章开头那个荒谬场景的真实版本。

这背后藏着一个假设:每个 token 对每个奖励都同等负责。但现实根本不是这样。验证器通常只盯着回答里一小块地方。格式验证器只看有没有正确的标签,执行验证器可能只在意某一个被选错的列名。把整体的奖励摊匀到每个字上,相当于让所有员工为一个人的错误集体扣钱,这显然不公平,也教不会模型到底哪里错了。

**凭什么能找到"哪几个词"该负责**

问题摆在这儿:验证器到底在看哪些词,我们并不知道,而且不想为此专门训练一个额外的模型去标注,也不想额外生成数据去标注哪个 token 对哪个奖励负责。那怎么办?

研究者们从最近的一类工作里找到了灵感,这类工作叫在线自蒸馏

> 自蒸馏*:让同一个模型在拿到额外的"特权信息"(比如参考答案、环境反馈)之后,生成一个更准的预测分布,再让模型自己去学着靠近这个更准的分布,而不是靠传统的奖励最大化去学习。

这里的洞察是:如果你给模型多塞一点"内部消息",它对下一个词的预测会发生变化。而变化越大的地方,恰恰说明这个位置和这条内部消息关系越紧密。

这篇论文的作者据此提出了 MRTPO

> MRTPO*:Multi-Reward-to-Token Policy Optimization,一种让多奖励强化学习里的每个奖励,把自己的优势值精准分配到真正相关的 token 上的方法,不需要额外模型,也不需要人工标注。

它的做法可以概括成一句话:对每一个奖励,让模型在"看得到验证信息"和"看不到验证信息"这两种情况下,分别把自己已经生成的那条回答重新"回放"一遍,比较两次预测有什么不同,差异大的地方就是这个奖励真正在意的地方。

**自我回放:让模型自己告诉你哪里重要**

具体怎么操作?

每一个奖励背后都有一段验证信息,论文里管它叫 Zk,可以是一段文字描述的格式要求,可以是数据库返回的 SQL 报错信息,也可以是一条参考答案。

对每个奖励,构造两个几乎完全一样的上下文:一个把所有奖励的验证信息都塞进提示词,叫 Pall;另一个和它完全一样,只是把这一个奖励的验证信息单独抠掉,叫 P\k。

接着,拿训练时用来采样这条回答的那个旧模型参数,把已经生成好的回答,分别喂进这两个上下文里跑一遍前向传播,得到每个位置上下一个词的概率分布。

这一步不需要重新生成任何新内容,只是让模型"回看"自己已经写出来的东西,在两种不同知情程度下,对每个位置的判断有什么差别。

两次预测的差异用 Jensen-Shannon 距离衡量

> Jensen-Shannon 距离*:一种衡量两个概率分布有多"不一样"的指标,取值在 0 到 1 之间,0 表示两个分布完全相同,1 表示差异达到最大。

如果某个位置,去掉某段验证信息之后预测几乎没变,说明这个位置跟这个奖励没什么关系,距离接近 0。如果去掉之后预测剧烈变化,说明模型在这个位置的判断严重依赖那段信息,距离就大,这个位置就该为这个奖励负更多责任。

论文里有个很直观的例子。一条文本转 SQL 的回答里用了一张不存在的表 `telefone`,而正确答案里用的是 `phone`。研究者把"数据库报错信息"从上下文里抽走再回放一次,发现预测变化最大的地方正好就是 `telefone` 这个词本身。把参考查询抽走再回放一次,预测变化最大的地方落在被选错的列名和错误的连接条件上。模型自己把"该怪谁"指出来了,不需要人去标。

这种做法让我想到医院里的会诊场景。假设一个病人同时得了三种病,心脏科医生、肠胃科医生、神经科医生各自开了处方。如果账单只是把三张药费单直接合并打印在一张纸上,病人根本看不出哪笔钱花在哪个科室。但如果每张处方单上都写清楚是哪个科室开的、针对哪个症状,病人就能清楚知道每一分钱的去向,也能判断哪个科室的治疗更值。如果不做这种区分,病人下次生病时根本学不会该挂哪个科,模型也是一样,如果惩罚不精准定位,它学不会到底哪里需要改进,只会笼统地变得"更谨慎"或者"更啰嗦",却抓不住真正的问题所在。

**把优势值重新分配给该负责的 token**

有了每个位置对每个奖励的"相关度分数"之后,下一步就是把奖励的优势值按这个分数重新分配。

论文给出的公式思路是:先算出整条回答里,这个奖励的相关度分数的平均值。某个位置如果相关度正好等于平均值,权重就是 1,跟原来 GDPO 平摊的做法一样。如果某个位置相关度比平均值高,权重就往上调;相关度比平均值低,权重就往下调,但不会低于一个下限,保证每个位置至少还能保留一部分优势值。

这里有一个参数 β,控制"跟着相关度走"的比例占多少。β 取 0 就完全退化成 GDPO 的平摊方式,β 越大,优势值越集中地砸向真正相关的那几个 token。论文里实验发现 β 取 0.5 是一个比较稳的折中值,在不同任务上都表现不错。

值得一提的是,所有权重的平均值还是 1,这意味着整条回答拿到的总奖励没有变,只是分配方式变了。好比一个团队完成项目拿到了奖金,总奖金数额不变,但不再是人人平分,而是按贡献度来分发。贡献大的拿得多,贡献小的拿得少,但每个人至少还能拿到一个保底。

同时论文还设计了一个防止"失控"的机制,当多个奖励同时集中火力砸向同一批 token 时,重新分配出去的那部分优势值会被限制在原本平摊优势值的大小以内,避免某几个 token 被过度加权导致训练不稳定。

**三个战场的实测结果**

说了这么多设计思路,实际效果到底怎么样?论文在三个任务上做了验证:文本转 SQL、多约束指令遵循、工具调用。

在文本转 SQL 任务上,用了 Spider 训练集和三个二元奖励,格式对不对、能不能执行、结果是否和参考答案一致。测试覆盖 Spider 的开发集、测试集,还有几个变体版本和 BIRD 数据集。两个不同大小的模型,30 亿参数和 70 亿参数,MRTPO 在平均准确率上都排名第一,分别是 68.60% 和 73.15%,比 GDPO 高出 1.3 到 1.6 个百分点。更有意思的是,把 MRTPO 和另一种叫 SAW 的加权方法结合起来,平均分还能再往上提一点,达到 68.96% 和 73.41%,这说明 MRTPO 这种"决定哪些 token 拿奖励"的思路,和"决定每个奖励该拿多少权重"的思路是两件独立的事,可以叠加使用,互不冲突。

在多约束指令遵循任务上,每条提示词里塞了五到十三条不同的约束,每条约束就是一个独立奖励。这个场景下 MRTPO 的优势最明显,在 IFBench 这个约束类型没在训练里出现过的测试集上,涨幅达到 2.4 到 3.2 个百分点,是三个任务里涨幅最大的。这背后的逻辑也很合理,约束越多,平摊的坏处就越明显,一个 token 如果要背负十几个毫不相干的约束的平均责任,噪音自然就越大。

在工具调用任务上,只有两个奖励,格式对不对和参数对不对,MRTPO 在最终准确率上和 GDPO差距不大,但训练速度上优势非常明显。论文统计了模型把格式学对需要多少步,MRTPO 只需要 13 步,GDPO 需要 19 步,原始的 GRPO 需要 34 步。训练到第 10 步时,MRTPO 已经让 97% 的测试样本格式正确,而 GDPO 只有 2%,GRPO 只有 4%。

这组数字背后其实藏着一个很直白的道理。格式这个奖励,验证器只看开头结尾那几个标签对不对,跟中间内容基本无关。如果把格式奖励的分数硬摊到整条回答的每个词上,模型要花很久才能从一堆噪音里琢磨出"原来是标签的问题"。而 MRTPO 直接把格式奖励的分数集中砸向标签本身,模型几步之内就能抓住重点。这就像考试没考好,老师如果只告诉你"这次考试扣了 20 分",你得自己猜是哪道题错了;但如果老师直接在错题上画了圈,你改正的速度肯定快得多。如果不这样做,模型要靠大量试错去反向摸索出哪里出了问题,这个摸索的过程就是训练慢的根本原因。

论文还专门做了对照实验来验证"是不是真的因为分配位置对了才有效"。研究者把每条回答内部的 token 权重随机打乱,只保留权重的数值分布,但打乱它们原本对应的位置,结果 MRTPO 相对 GDPO 的提升直接消失,几乎跌回 GDPO 的水平。另一组实验是把所有奖励合并成一个总的相关度分数再统一分配,而不是让每个奖励各自算各自的,这样做效果比 GDPO 好一点,但明显不如让每个奖励单独算自己的分配方式。这两个对照实验说明,提升确实来自"知道哪个 token 该为哪个奖励负责"这件事本身,不是什么统计上的巧合。

**和一个"更奢侈"的对手比较**

论文里还提到一个值得深挖的对比对象,叫 OPSD

> OPSD*:On-Policy Self-Distillation,一种让模型参考完整的参考解答(包括推理过程和最终答案)来生成一个更准的"教师"预测分布,再让模型自己去拟合这个教师分布的方法。

OPSD 给模型喂的信息比 MRTPO 更"奢侈",它给出的是完整的参考解题过程,包括推理步骤和最终查询语句。按理说信息量越大,效果应该越好才对。但实验结果是,OPSD 在文本转 SQL 的每一个测试基准上,表现都不如 MRTPO。

这个结果其实很有意思,因为它说明了一件事:模型需要的不是一份完整的标准答案抄一遍,而是知道"每个评判标准到底在盯着哪里"。给出完整参考答案确实能让模型知道正确结果是什么样,但没有告诉模型"你这次错在哪一个具体位置"。而 MRTPO 用的信息量更少,只是验证器本身依赖的那点信息,但它把这点信息用在了精确定位上,反而更有效。

这让我想起学做菜这件事。如果你照着一份完整菜谱从头到尾抄一遍动作,你学到的是"这道菜该是什么样子",但下次自己做错了,你未必知道到底是火候的问题还是调料的问题。但如果有人只告诉你"你这盘菜咸了",这个反馈信息量看起来更少,却能精确地指向问题所在,让你立刻知道下次该少放盐。信息的多少不等于反馈的有效性,反馈能不能精确定位问题才是关键。

**哪些词真正被"砸中"了**

论文还做了一个很细致的分析,看看在真实训练过程中,每个奖励的注意力究竟落在回答的什么位置。

在文本转 SQL 任务里,统计发现一个奖励的大部分"相关度距离",80% 都集中在整条回答里 26% 到 29% 的 token 上。执行奖励把注意力集中在被选中的列名上,是这部分 token 占比的两倍;格式奖励则把两倍的注意力集中在 `` 标签上。

在工具调用任务里,80% 的相关度距离集中在 13% 到 15% 的 token 上。格式奖励给 `` 标签三倍于平均的权重,而正确性奖励主要落在选择调用哪个函数的那段推理文字上,至于函数名和 JSON 语法这些正确和错误的调用都共享的部分,反而只拿到不到五分之一的平均权重。

在指令遵循任务里,研究者专门挑了一类叫"结尾短语"的约束来分析,这类约束要求回答必须以指定的句子结尾。统计结果显示,这条约束把 40% 的相关度距离集中在只占整条回答 4% 的 token 上,也就是结尾那句话。如果约束被违反了,相关度距离会转移到"本该出现但没出现"的那个位置,比如要求用引号包裹整段回答却没加引号时,相关度集中在回答开头那个本该是引号的位置。

这组数据印证了一件事:验证器真正在意的信息,往往只藏在回答里很小的一块地方,而 MRTPO 的自我回放机制,能相当准确地把这块地方找出来,不需要任何人工标注。

**成本:多出来的那点计算**

当然,天下没有免费的午餐,MRTPO 需要额外做前向传播来完成这个"回放"的动作,这肯定要花更多计算资源。

论文给出了一个相对乐观的数字:由于一个奖励只有在它的得分在同一组回答里出现差异时才需要被回放,如果一组回答里所有人在这个奖励上得分完全一样,那这个奖励的优势值本来就是零,根本不需要费力气去回放。这种"有差异"的情况在训练早期比较常见,但很快就会变少。比如在工具调用任务里,正确性奖励出现差异的比例从训练前十步的 61% 降到后期的大约 10%。

整体算下来,大概只有 12% 到 21% 的回答和奖励组合真正需要触发回放,一步训练的时间比 GDPO 多了 10% 到 20%,不算一个特别沉重的负担。

**写在后面**

读完这篇论文,最让我印象深刻的不是方法本身的巧妙,而是那个 OPSD 对照实验背后的反直觉结论。给模型更多信息(完整参考答案)反而比给更少但更精准的信息(只告诉验证器在看哪里)效果更差。这其实在提醒一件更普遍的事:在很多需要"学习"的场景里,信息的精确定位比信息的总量更重要。这不只适用于训练语言模型,也适用于人类的学习和反馈机制。

另一个值得记住的细节是指令遵循任务里那组"结尾短语"的统计数字:40% 的注意力集中在只占 4% 篇幅的结尾句上。这意味着一个看似微小的格式要求,背后对应的责任其实高度集中,传统的平摊方式会把这种高度集中的责任稀释成几乎可以忽略的噪音,而这正是为什么多奖励任务里约束越多,平摊方式的问题就越严重的根本原因。

论文的局限也写得很诚实。这个方法要求每个奖励的验证信息都能写成一段文字,并且加入或去掉这段文字确实能让模型的预测发生变化。如果一个奖励本身跟具体文字内容无关,比如纯粹按回答长度打分,这套方法就无从下手了,只能退回到老办法平摊处理。另外用 LLM 当裁判打分的那类奖励,比如复杂的评分标准项,这篇论文也还没有验证过效果如何。

如果一个奖励既没有可写成文字的验证信息,又不是靠简单规则判断,而是靠一个黑箱模型给出一个模糊的分数,这种情况下该怎么找到它真正"管辖"的那几个词?这或许是接下来研究者们要面对的下一个问题。

Q&A

Q1:MRTPO是什么?

A:MRTPO是一种多奖励强化学习中的token级信用分配方法,它通过让模型在有无验证信息两种情况下回放自己已生成的回答,用预测分布的差异找出每个奖励真正相关的token,再把优势值精准分配给这些token,不需要额外模型或人工标注。

Q2:MRTPO和GDPO有什么区别?

A:GDPO只决定每个奖励贡献多少权重给整条回答,但把这个权重平均摊到回答的每一个token上。MRTPO在GDPO的基础上进一步决定每个奖励的优势值该分配给哪些具体token,两者可以叠加使用,互不冲突。

Q3:MRTPO比给完整参考答案的OPSD方法效果还好吗?

A:是的,论文实验显示OPSD给模型完整的参考解题过程,信息量比MRTPO更大,但在文本转SQL的每个测试基准上表现都不如MRTPO,说明精准定位问题比给出完整答案更有效。

[责任编辑:h001]

资讯播报

联系我们:256 8607 385@qq.com

版权所有 中播网 www.zhongboxinwen.com 京ICP备2022022245号-17