IT之家 8 月 6 日音讯,强化学习已成为大模子历练主流范式,鼓吹模子时候向行业中枢场景工程化落地。其中,训推一致至关迫切,因推理与历练流程耦合,基础设施各异易放大不笃定性。
华为计算官方 8 月 5 日通知,昇腾基于 Ascend C 编程道话提供完好训推一致算子集,在 Qwen3-30B MoE 模子上的测试结束 Logdiff 为 0,并通过昇腾亲和的 FA 算子优化,在 Eager 方式下获取 20%-60% 性能收益,为诞生者提供高效可靠的强化学习历练有想象。
RL 后历练训推不一致最根蒂的原因,是底层计算时累加不保序。若要从上到下保证历练引擎与推理引擎每一次累加限定一致,需要框架侧与算子侧同期发力。模子参数越大,问题会进一步放大:张量并行、大家并行等切分战略,以及聚积通讯旅途,任一关节对不皆,都无法作念到最终的 true-on-policy。算子还需要袒护多种调用场景,在缺欠计算法子上施加握住,同期把性能升天收尾在可用边界内 —— 这是一项系统性工程挑战。
训推不一致,指的是 Rollout(推理)引擎与历练引擎之间的数值不一致性。即使两者使用十足交流的模子权重,对交流 Token 序列计算得到的对数概率(logprob)也可能存在隐微各异;该各相配常用 logdiff 预料。

昇腾基于 Ascend C 编程道话对训推链路中的缺欠算子作念了系统性握住与对皆,中枢念念路是:让历练与推理在「该累加的处所」走归并套数值旅途,主要触及如下 4 个修改:

在此基础上,再互助 FA 下发与诊治优化,使训推一致不再以显赫性能回退为代价,从而在实测中同期拿到 logdiff=0 与端到端加快。
华为通知联系基础设施已开源,还将上线“训推一致问题识别 Skill”,救助排查残余 logdiff、定位是算子旅途问题依然框架结束各异。
IT之家附开源地址如下:https://github.com/verl-project/verl-ascend-recipe/tree/main/true_on_policy开云kaiyun
]article_adlist--> 声明:新浪网独家稿件,未经授权辞让转载。 -->