1.简单讲讲对PPO DPO GRPO的理解 DPO是直接利用偏好数据训练，PPO和GRPO都需要先训练reward model GRPO相比于PPO 1. 去掉了critic以减小计算量 2. Advantage的计算方式不同 3. GRPO的KL散度项只作用于Actor，PPO则是把KL散度项写入了reward中

视频信息

答案文本 复制

视频字幕 复制

在大语言模型训练中，强化学习优化算法扮演着关键角色，用于将模型行为与人类偏好对齐。主要有三种算法：PPO、DPO和GRPO。其中，DPO直接利用偏好数据进行训练，而PPO和GRPO都需要先训练奖励模型。这三种算法各有特点，适用于不同的应用场景。 PPO算法采用Actor-Critic架构，其中Actor负责策略更新，Critic负责价值估计。PPO的核心创新是裁剪目标函数，通过重要性采样比率的裁剪来防止策略更新过大。在PPO中，KL散度约束被直接整合到奖励函数中，而Advantage函数通过Critic网络计算得出，用于指导Actor的策略改进。 DPO算法的核心创新在于直接从偏好数据中学习，完全绕过了奖励模型的训练步骤。DPO基于Bradley-Terry模型，将传统的奖励建模问题巧妙地转化为分类问题。这种方法大大简化了训练流程，减少了累积误差，同时避免了奖励模型可能带来的偏差。 GRPO算法相比PPO有三个主要改进。首先，GRPO移除了Critic网络，显著减少了计算开销和内存需求。其次，GRPO采用group-relative的advantage计算方式，提供更稳定的梯度估计。最后，GRPO的KL散度约束仅作用于Actor网络，而不是像PPO那样整合到奖励函数中，这使得优化过程更加直接和高效。 通过综合对比，我们可以看到三种算法各有优势。DPO适合有丰富偏好数据的场景，训练简单且无需奖励模型。PPO适合需要精确控制的复杂任务，技术成熟且应用广泛。GRPO在计算资源受限时表现优异，既保持了性能又大幅降低了计算开销。未来的发展趋势是朝着更高效、更简单、更实用的方向发展。