SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling

输入是什么：已经采集的专家演示、机器人交互轨迹或评测样本。每条数据通常包含观测、动作，以及可能存在的奖励或下一状态。

这一步究竟做什么：从简单噪声分布采样 $x_K$，它代表尚未成形的候选动作。后续每个 flow step 都在同一状态条件下移动它，因此一条动作的 Q 梯度必须穿过整段积分链。

输出到哪里：一个或多个候选未来、动作或轨迹，以及必要的中间状态。这个结果会交给下一步“用 Flow-G 或 Flow-T 稳定每一步速度更新”继续处理。

为什么不能省略：随机起点允许模型表达多种合理结果；逐步生成则把无结构噪声限制到训练数据支持的动作或视频分布。

输入是什么：来自上一步“从噪声初始化一条动作生成轨迹”的产物：一个或多个候选未来、动作或轨迹，以及必要的中间状态。本步骤还会按论文设置读取当前条件、时间步或训练信号。

这一步究竟做什么：Flow-G 用门控速度、Flow-T 用 decoded velocity 重参数化残差更新，控制不同步的增益与记忆。目的不是改变最终 flow 目标，而是让多步链的 Jacobian 不再持续放大或压扁。

输出到哪里：参数得到更新的模型，或能供下一轮训练使用的新监督信号。这个结果会交给下一步“执行最终动作并写入 off-policy replay”继续处理。

为什么不能省略：前面的数据或分数本身不会自动改变模型；必须通过损失函数把误差信号变成参数更新。

输入是什么：来自上一步“用 Flow-G 或 Flow-T 稳定每一步速度更新”的产物：参数得到更新的模型，或能供下一轮训练使用的新监督信号。本步骤还会按论文设置读取当前条件、时间步或训练信号。

这一步究竟做什么：积分得到最终动作后送入环境，奖励和下一状态写入 replay。noise-augmented rollout 保留探索，使历史转移能用于 off-policy critic，而不是每次更新都重新采样整批环境。

输出到哪里：可发送给机器人控制器的动作，以及执行后重新观测到的真实状态。这个结果会交给下一步“SAC critic 与 actor 交替更新，历史数据可反复使用”继续处理。

为什么不能省略：机器人动作会改变下一次观测；只有执行后重新读取现实，才能发现预测误差并阻止错误连续累积。

输入是什么：来自上一步“执行最终动作并写入 off-policy replay”的产物：可发送给机器人控制器的动作，以及执行后重新观测到的真实状态。本步骤还会按论文设置读取当前条件、时间步或训练信号。

这一步究竟做什么：SAC critic 用 TD 学价值，actor 通过稳定的 flow 链最大化 Q 与熵。交替更新反复利用 replay；若去掉速度重参数化，同样的 Q 梯度会沿残差链爆炸，训练往往直接失稳。

输出到哪里：一个分数、奖励或价值估计，用来比较候选，而不是直接控制机器人。这是图中这条链路的最终产物，随后会进入真实执行、模型更新或指标评测。

为什么不能省略：只有生成候选而没有评价标准，模型不知道哪个结果更好；这一步把‘好坏’变成可比较的学习信号。