JOB ROUTE · REAL-WORLD ROBOT RL

真机强化学习：从完全不知道，到能读系统、做实验、参加面试

这页面向“岗位可能主要做真机 RL，但现在不知道 RL 是什么”的起点。阅读顺序不是先背 PPO/SAC 公式，而是先看机器人一次真实训练怎样闭环，再理解每个算法模块解决哪种工程风险，最后把论文映射成岗位能力。

从零开始直接看必读论文看岗位技能表

§1 真机 RL 到底是什么

一句话：让策略在真实机器人上执行动作，根据动作造成的结果获得反馈，再用这些新数据改进下一版策略。它和普通监督学习最大的区别是：模型输出的动作会改变之后看到的数据，因此训练数据分布会被策略自己改变。
一轮真正的真机 RL
observe → act → consequence → learn → act again
OBSERVE读取真实状态 $s_t$相机、关节、末端位姿、夹爪、力/触觉以及任务指令。
→
POLICY策略提出动作 $a_t$末端增量、关节目标、夹爪命令或一段 action chunk。
→
REAL WORLD机器人执行并改变环境可能成功、抓偏、碰撞，或进入演示从没出现的状态。
→
FEEDBACK记录 $r_t,s_{t+1}$ 并更新奖励/成功检测进入 replay，critic 与 actor 学习后返回新参数。

真机 RL ≠ 从随机动作开始撞机器：现代系统通常从演示或 SFT policy 起步，配合安全控制器、动作边界、人类接管和可回滚 checkpoint。

先把七个词翻译成人话

State / Observation

机器人做决定时能看到的信息。严格说 state 是完整世界状态，camera observation 往往只是部分可见。

Action

策略能控制的量。可能是关节位置、末端位姿增量、力矩、夹爪开合或未来若干步动作。

Policy / Actor

真正提出动作的函数：输入观测，输出动作或动作分布。VLA 也可以充当 policy。

Reward

告诉系统结果好坏的数值。真机上常是成功分类器的 0/1、几何进度或人工偏好，而非天然存在。

Critic / Q

不给机器人直接发动作，而是估计“在这个状态做这个动作，长期来看有多好”。

Replay Buffer

保存 $(s,a,r,s')$ 交互记录的经验库。off-policy 算法能反复使用昂贵的旧真机数据。

Rollout

策略连续观察、行动、得到反馈形成的一段闭环轨迹。视频只是 rollout 的一部分，还要保存动作和时序。

Reset

把任务恢复到可再次尝试的初始状态。真机 reset 常比算法更新更耗人工，是系统设计核心。

Intervention

人发现危险或错误苗头时暂时接管。它既保护硬件，也提供当前 policy 最缺的恢复示范。

它和 SFT、离线 RL、仿真 RL 有什么区别

范式数据会不会继续增加主要学习信号最典型风险
BC / SFT固定专家示范“专家在这个观测做了什么”闭环误差把策略带到示范外状态
Offline RL固定 replay历史奖励、value、advantagecritic 对数据外动作虚高
Sim Online RL仿真里廉价增加环境 reward利用 simulator 漏洞，sim-to-real 失败
Real-Robot Online RL真实机器人闭环增加真实结果、成功分类器、人类反馈硬件安全、数据成本、reset、延迟和灾难性更新

§2 跟着一次安全的真机训练走完八步

下面的顺序比先背算法名重要。任何真机 RL 论文，都应该能放回这八个接口中。

一次真实训练循环

1. 先定义任务、动作空间和安全边界

确定观测、动作频率、最大位移/力矩、碰撞阈值、终止和 reset。算法只能在这些接口允许的范围内学习。

为什么先做这个

输入是什么：机器人硬件能力、任务成功条件和允许的工作空间。

这一步究竟做什么：把开放现实问题变成一个有限、可执行、可停止的控制问题。

输出到哪里：形成环境 API、安全控制器和训练配置。

为什么不能省略：奖励再聪明也无法事后撤销硬件碰撞。

2. 用示范或 SFT policy 冷启动

先采少量成功演示、训练行为克隆或加载 VLA，让机器人至少能够接近任务解，而非从全随机动作探索。

核心直觉

输入是什么：遥操作演示、已有 policy 或 VLA checkpoint。

这一步究竟做什么：把策略带到成功轨迹附近，并初始化 demo replay。

输出到哪里：得到可上机但尚不鲁棒的初始策略。

为什么不能省略：真实世界探索空间太大、太贵且可能危险。

3. 建立可验证的奖励与终止

用传感器、几何规则或成功分类器判断任务是否完成，同时单独记录安全终止与失败原因。

最常见的坑

输入是什么：任务后状态、相机/力觉和成功/失败样本。

这一步究竟做什么：把“做好了没有”转成模型可学习的数值。

输出到哪里：奖励和 done 标记随 transition 写入 replay。

为什么不能省略：错误奖励会让机器人非常高效地学会错误捷径。

4. Actor 在真机上执行，人类随时可接管

策略以固定频率输出动作；安全控制器限幅，人发现异常时覆盖 policy action，并保留介入标记。

不是人工替机器人做完

输入是什么：当前观测、policy action 和可选 human action。

这一步究竟做什么：选择实际执行动作，并及时阻断危险状态。

输出到哪里：动作进入低层控制器，来源标签进入轨迹。

为什么不能省略：介入数据正好覆盖当前策略最薄弱的状态。

5. 把 transition 写入不同 replay

保存时间对齐的观测、实际动作、奖励、下一观测、终止与介入来源；demo、online、failure 可分池管理。

数据不只是视频

输入是什么：一次真实控制周期的完整记录。

这一步究竟做什么：构造可重复训练的 $(s,a,r,s')$ 数据。

输出到哪里：learner 按比例从多个 replay 抽 batch。

为什么不能省略：时间错位会让 critic 学到动作与后果的错误对应。

6. Critic 学价值，Actor 做受约束更新

off-policy learner 用 Bellman target 训练 critic，再让 actor 偏向高价值动作；通常冻结视觉/VLA 主干，只更新小模块。

算法真正工作的地方

输入是什么：replay batch、target network 和当前 actor/critic。

这一步究竟做什么：把延迟成功信号分配给较早动作，并产生参数更新。

输出到哪里：得到候选新 checkpoint。

为什么不能省略：只存失败视频不会自动改变策略。

7. 先离线验证，再灰度发布新 checkpoint

检查 Q 值、动作范围、离线回放、仿真/影子模式和少量受控 rollout；失败时可快速回滚。

真机工程和论文算法的分界

输入是什么：候选参数、离线验证集和安全阈值。

这一步究竟做什么：拦截数值爆炸、动作漂移和灾难性遗忘。

输出到哪里：通过门槛的新策略才下发 actor。

为什么不能省略：训练 loss 正常不代表闭环动作安全。

8. 同时看成功率、人工成本和墙钟时间

评测成功率之外，还记录 intervention rate、reset 次数、cycle time、训练小时、延迟和安全违规。

什么叫真的进步

输入是什么：多次闭环评测与完整运行日志。

这一步究竟做什么：判断性能是否来自策略，而不是更多人工或更宽松评测。

输出到哪里：决定继续采样、修改奖励、回滚或停止训练。

为什么不能省略：“成功率 90%”可能隐藏每次都需要人类接管。

§3 为什么真机 RL 比仿真难得多

样本贵且不能并行无限复制

一次失败可能需要人重新摆物体、清理场景或维修硬件。样本效率和真实墙钟时间比单纯 environment steps 更重要。

探索会造成真实后果

策略噪声、critic 过估计或 checkpoint 崩坏可能碰撞。动作限幅、阻抗控制、人类接管和回滚属于算法系统的一部分。

Reward 通常不存在

机器人不会天然告诉你“插好了”。成功分类器可能误判，几何 shaping 可能诱导捷径，需要视频审计与单元测试。

Reset 是隐藏瓶颈

仿真调用 reset() 即可；真机可能要重新摆放、抓回物体、清除缠绕。可自动 reset 的任务更容易规模化 RL。

控制有多重时间尺度

policy 可能 5–20 Hz，低层控制 200–1000 Hz，相机、动作、奖励若时间戳错位，模型会学习错误因果。

分布由策略自己改变

新策略会访问旧 replay 没覆盖的状态；off-policy critic 在这些区域最可能过估计，需要保守更新和在线验证。

§4 岗位必读：先学什么，哪些只是前沿加分项

P0 是真机 RL 岗位必须能讲清的基础；P1 是 VLA+RL 工程常见路线；P2 是生成式策略和世界模型前沿。不要倒序学习。

P0 · 必须知道

P0 · SYSTEMHIL-SERL

最适合作为真机 RL 第一篇：actor/learner、双 replay、人类介入、成功分类器、RLPD、低层安全控制怎样组成完整系统。

P0 · POLICY BASELINEDiffusion Policy

它本身主要是行为克隆而非 RL，但现代机器人动作头大量沿用 action chunk 与 diffusion；不懂它就看不懂 DPPO/DSRL。

P0 · OFFLINE RLIQL

理解固定数据、expectile value、advantage-weighted policy update，以及为什么 offline RL 不能信任数据外动作。

P0 · OFFLINE→ONLINEAWAC

理解如何从 replay 学 critic，再用 advantage 加权行为克隆；是“先用示范、再在线改进”的基本桥梁。

P0 · WORLD MODEL RLDreamer

理解真实数据训练 latent dynamics、模型内 imagination rollout、actor/value 学习，以及 model bias 为什么危险。

P0 · EVIDENCEWhat Can RL Bring to VLA Generalization?

训练任务成功率上升不等于获得所有泛化；学会拆分抗干扰、恢复、视觉变化和新任务迁移。

P0 · 论文之外必须掌握的算法词

SAC / TD3：连续动作 off-policy actor-critic，是很多真机 learner 的算法底座。PPO：on-policy 策略梯度，稳定但通常更耗真实交互；DPPO/πRL 会借用其目标。想直观看 PPO 的 critic 基线与 GRPO 的组内基线，可读PPO / GRPO 对比图；GRPO 在这里是算法对照，不是真机 RL 的必备方法。DQN：离散动作 value learning，HIL-SERL 用独立 grasp critic 处理夹爪开合。DAgger：在 learner 实际访问的状态上请求专家动作，是理解 human intervention 数据价值的前身。RLPD：高 UTD、ensemble/regularization 与 demo/online 混合采样，是 HIL-SERL/SERL 的核心 learner。

P1 · VLA 真机后训练

P1 · BASE MODELOpenVLA / π₀

理解现代 VLA 的视觉—语言骨干、离散或 flow 动作头，以及为什么全参在线更新风险高。

P1 · LIGHT UPDATEEXPO-FT / RL Token

冻结大基座，只训练 residual、token 或小 critic，把真机更新成本和灾难性遗忘风险压低。

P1 · DATA LOOPLearning While Deploying

把自主 rollout、人类干预和 fleet 数据持续写回训练池，关注部署期间的安全和异步学习。

P1 · OFFLINE→ONLINEBORA / RankQ

先从历史数据挖 value/排序信号，再用少量在线 residual 适配，降低真机冷启动成本。

P1 · SYSTEMRL-VLA³

异步 simulator/actor/generator/learner 架构，关注动态 batching、吞吐、延迟和数据队列。

P1 · RELIABILITYχ₀

长程双臂任务里，阶段优势、参数合并与可靠性工程比单个平均成功率更重要。

P2 · 生成式动作头与想象 RL

P2 · DIFFUSION RLDPPO / DSRL

一个更新完整去噪链，一个冻结 policy 只学习 latent steering；比较梯度链长度和真机稳定性。

P2 · FLOW RLReinFlow / SAC-Flow / πRL

让确定性 flow 具备探索、likelihood 或可优化序列决策结构，再接 SAC/PPO。

P2 · TEST-TIMEQGF / FlowPRO

critic 梯度或轨迹偏好在采样期引导动作，减少手工 dense reward 设计。

P2 · SELF-IMPROVEPLD Self-Improving VLA

RL 负责发现失败和恢复数据，最终把新轨迹蒸馏回简单 VLA，降低部署复杂度。

P2 · IMAGINATIONRISE

把大部分 rollout 搬进 world model，只让真实机器人承担校准和最终验证。

P2 · STAGE CREDITSTARE-VLA

把长程任务拆成 reach/grasp/transport/place 等阶段，为稀疏末端成功提供更密集信用分配。

§5 真机 RL 岗位真正会考察什么

能力块你至少要能解释/实现什么面试证据
机器人与控制EEF/关节动作、position/velocity/torque、阻抗控制、动作限幅、控制频率、坐标系和 IK。能解释 policy 10 Hz 与低层 1 kHz 如何衔接，为什么 RL 不直接绕过安全控制器。
RL 算法Bellman target、target network、actor/critic、on/off-policy、entropy、advantage、UTD、Q overestimation。能从一条 transition 写出 critic 更新，并说明 actor 为什么可能利用错误 Q 值。
数据系统teleop、replay schema、时间戳、demo/online/intervention 分池、采样比例、归一化和失败数据保留。能画出从 robot actor 到 learner 再回 actor 的异步数据流。
Reward 与评测成功分类器、sparse/shaped reward、reward hacking、终止、reset、任务级成功率与置信区间。能说明怎样发现 reward classifier 假阳性，以及为何必须保存失败视频。
安全与运维intervention、E-stop、checkpoint gate、灰度发布、回滚、动作分布监控和硬件故障恢复。能提出新 policy 上机前的验证门槛，而不是只说“loss 下降了”。
VLA/生成策略action chunk、receding horizon、diffusion/flow sampling、冻结主干、adapter/residual 与推理延迟。能解释为何 Diffusion Policy 不是 RL，以及 RL 可以接在生成链的哪些位置。
岗位避坑：不要只背 PPO/SAC 公式。真机团队更关心你能否发现时间对齐、reset、reward 误判、Q 爆炸、动作延迟和 checkpoint 崩坏；这些问题会直接浪费机器时间或损坏硬件。

§6 零基础 4 周学习安排

第 1 周 · 建立 RL 语言

学 MDP、return、Bellman、actor/critic、on/off-policy、PPO/SAC。用一个低维 Gym 连续控制任务观察 replay 与 Q 学习，不碰 VLA。

第 2 周 · 数据与 offline RL

读 IQL、AWAC；比较 BC、offline RL 和 online finetune。亲手检查 dataset coverage、return 分布和 OOD action。

第 3 周 · 真机系统

精读 HIL-SERL 方法总览；画 actor/learner/replay/intervention 图。设计 reward classifier、reset 和 checkpoint gate 的测试表。

第 4 周 · 接上 VLA

读 Diffusion Policy、OpenVLA/π₀，再选 DPPO 或 RL Token。准备一个“冻结什么、更新什么、如何安全上线”的项目方案。

读完后应能回答的面试题

为什么 BC 在训练集成功，闭环却失败？
动作改变之后的观测，误差把策略带到示范分布外。
为什么真机偏爱 off-policy？
昂贵旧数据能被 replay 多次使用，而 on-policy 通常要求不断采新数据。
人类 intervention 应放哪个 buffer？
要说明它既是在线轨迹的一部分，也是困难状态上的高质量示范，并讨论采样比例。
如何防止一次更新毁掉机器人？
冻结主干、小步更新、离线门控、动作分布检查、灰度 rollout、E-stop 和可回滚 checkpoint。
成功率提高就够了吗？
还要看介入率、reset、cycle time、训练小时、延迟、安全违规与统计置信度。
Diffusion Policy 与 DPPO 什么关系？
前者先以示范训练生成式动作 policy；后者把其去噪过程纳入 RL 优化。

§7 如果今天只做三件事

  1. 先打开 HIL-SERL 方法总览，把 actor、learner、replay、人类接管和参数回传完整讲一遍。
  2. 读 IQL 与 AWAC，建立 offline/off-policy 价值学习直觉。
  3. 回到 VLA+RL 关系图，再选择你岗位更接近轻量在线、生成式动作 RL，还是 world-model imagination。