World Action Model 学习路线：从视频生成到“想象 + 动作”
主线按《World Action Models: The Next Frontier in Embodied AI》及用户提供的 2026 路线图整理 · arXiv:2605.12090
怎么使用这页
这不是“论文名字堆”。顺序是：先补生成模型地基，再理解没有动作标签时如何发现 latent action，随后抓住 WAM 的两大架构分叉，最后看实时化、多模态与评测。路线中的论文条目均已完成身份核验，并链接到站内独立 HTML 精读页。
● 绿色 = 已核验、已归档、已有独立笔记WAM 主线共核验 38 份来源 PDF；Genie 重复文件合并后对应 37 篇独立精读
§1 先把 VLA、World Model、WAM 分开
第一道门槛
普通 VLA 直接学“看见现在 → 输出动作”；World Model 学“给定现在和干预 → 世界怎样变化”；WAM 则把未来状态与动作放进同一个问题。是否真正建模 $o'$，是“带视频 loss 的 policy”和“World Action Model”之间最容易混淆的地方。
关系图 1 · 三者不是按参数量区分，而是按“预测什么”区分
箭头 = 信息如何进入决策
共同输入当前观测 $o$ + 语言 $l$相机、机器人状态和任务指令描述“现在在哪里、要做什么”。
→
Reactive VLA直接输出动作 $a$学习 $p(a\mid o,l)$；未来世界只隐含在参数里，没有被显式监督。
↔
World Model给动作，预测未来 $o'$学习 $p(o'\mid o,a)$；擅长回答“如果这样做会怎样”，但动作通常由外部 policy 提供。
→
World Action Model未来 $o'$ 与动作 $a$ 联合约束学习 $p(o',a\mid o,l)$，或先预测未来再反推动作。
判断口诀：只生成动作通常仍是 policy；只预测后果通常是 world model；把“想象的后果”和“执行的动作”放进同一闭环，才进入 WAM 讨论。
$$\text{VLA}:\quad p(a\mid o,l)$$Reactive policy
逐项拆解
- $o$
- 当前视觉/状态观测。
- $l$
- 语言任务。
- $a$
- 下一段动作。模型没有被要求显式回答动作后世界会怎样。
$$\text{WAM}:\quad p(o',a\mid o,l)$$Joint future-state and action modeling
逐项拆解
- $o'$
- 未来状态，可以是 RGB、video latent、光流、目标姿态或抽象表征。
- $a$
- 与未来状态相互约束的可执行动作。
- 真正难点
- 不是多一个输出头，而是让“想象”与“动作”保持因果一致。
§2 生成模型地基：WAM 的视频分支从哪里来
按截图的第一步
生成式 WAM 本质上是动作条件下的视频或 latent 生成，因此 DDPM、CFG、VAE/LDM、DiT 和 Flow Matching 不是旁课，而是看懂 Joint-Diffusion WAM 的语法。
关系图 2 · DDPM 如何分叉成图像、视频、动作与 WAM
继承核心：从噪声中逐步恢复目标样本
同一个扩散思想，根据“被去噪的变量”分成不同应用
最容易混淆：Diffusion Policy 是生成式 policy，但通常不是 world model，因为它没有显式预测动作执行后的 $o'$；只有把未来状态也纳入训练与推理，才向 WAM 迈进一步。
§3 Latent Action：没有动作标签，怎样从视频发现“可控变化”
按截图的第二步
互联网视频规模大，但通常没有机器人 action。Latent-action 方法用逆动力学、离散码本或连续潜变量，把两帧之间的可控变化压成 action-like token；它让人类视频能进入 WAM 预训练，但 latent action 是否可映射到真实机器人控制仍是关键瓶颈。
关系图 3 · 从无动作视频到可执行机器人动作
难点 = latent action 不是天然的关节命令
原始数据连续视频帧 $(o_t,o_{t+1})$能看见世界发生变化，但没有记录“人当时按了什么控制量”。
→
逆向归因IDM / Action Tokenizer从相邻帧的可控差异中压缩出离散 code 或连续 latent $z_t$。
→
视频预训练Latent-action World Model以 $z_t$ 为条件预测下一帧或未来 latent，学习“某类控制变化会导致什么后果”。
→
机器人落地Action Grounding用少量有动作标签的机器人数据，把抽象 $z_t$ 映射到关节、末端位姿或 action chunk。
起点Genie证明无标签视频可以形成可交互的 latent action 环境。
迁移到机器人LAPA / villa-X / Motus把 latent action 用于大规模预训练，再用机器人数据完成控制语义对齐。
表征预测分支VLA-JEPA / FLARE更强调在 hidden/latent 空间预测可控未来，减少完整像素生成成本。
§4 WAM 两大路线：先想后做，还是一起生成
按截图的第三步
级联式把“未来”当中间计划，再交给第二阶段取动作；联合式直接共同建模未来与动作。前者可解释、可换视频大模型，代价是两阶段误差与延迟；后者耦合紧、推理可省掉完整视频，但训练更重，且容易出现“视频看着对、动作却不对”的对齐问题。
关系图 4 · WAM 架构不是论文年代，而是概率分解方式
同一目标：让 future 与 action 相互约束
Cascaded · 先想后做$o' \rightarrow a$第一阶段生成 RGB、flow、pose 或 latent 计划；第二阶段用 IDM/VLA/几何控制器翻译成动作。UniPi、AVDC、Vidar、VPP 属于这条线。
Joint · 一起建模$(o',a)$ 同一训练目标未来与动作 token/latent 在同一模型内交互，减少阶段间接口，但训练和一致性约束更困难。
Joint 内部继续按生成语法分叉
Autoregressive逐 token 预测GR-1/2、WorldVLA、CoT-VLA 把视觉和动作离散化后按序列建模。
Diffusion / Flow联合去噪或运输PAD、UWM、UVA、Cosmos Policy、DreamZero 共同生成连续 latent/动作。
Multi-stream分流但跨流交互DiT4DiT、MotionWAM、Fast-WAM、τ0-WM 为视频与动作保留不同头或时间尺度。
不是二选一：一个系统可以训练时联合、推理时只读 action head；也可以先在 latent 中级联、再用共享骨干联合优化。分类看的是主要因果接口，而不是名字。
$$\underbrace{p(o',a\mid o,l)}_{\text{Cascaded}}=\underbrace{p(a\mid o',o,l)}_{\text{action extraction}}\;\underbrace{p(o'\mid o,l)}_{\text{future prediction}}$$Cascaded WAM factorization · Survey §1
逐项拆解
- $p(o'\mid o,l)$
- 先生成未来 RGB、video latent、flow 或 pose。
- $p(a\mid o',o,l)$
- 再由 IDM、VLA 或几何模块把未来计划翻译成动作。
- 误差路径
- 第一阶段漂移会污染第二阶段；两次推理也增加闭环延迟。
Survey Fig 1 · p.2 WAM 时间线与架构树。截图里的两大路线来自这张图；箭头表示结构探索，不表示后一类淘汰前一类。
§5 工程前沿：让 WAM 真能闭环跑
按截图的 2026 趋势
当前硬伤不是“不会生成漂亮视频”，而是动作频率、长程误差、感知模态和想象—动作一致性。尤其在机器人闭环里，完整扩散 rollout 往往来不及，越来越多方法只在训练期保留视频目标，推理期读 hidden state 或蒸馏成单步。
关系图 5 · 每个工程分支都在消除一个闭环瓶颈
瓶颈 → 技术手段 → 代表工作
扩散太慢蒸馏 / 缓存 / 少步采样Flash-WAM、Fast-WAM、Efficient-WAM、C³ache、HiMem-WAM 减少网络评估或复用历史计算。
RGB rollout 太重只预测 latent / hidden stateV-JEPA 2、LeWorldModel、Being-M0.7 用紧凑状态承载未来，动作头不必等待完整视频渲染。
RGB 看不见接触增加触觉与力觉OmniVTA、FAWAM 把接触、滑动和受力信号加入世界状态，修补纯视觉的部分可观测性。
共同目标训练时允许“想得多”利用视频、未来 latent 和多模态辅助目标学到因果结构。
→
部署约束推理时必须“做得快”只保留动作所需的最小计算，并在机器人控制周期内完成闭环。
三个公认难题
① 自回归长程误差累积；② 视频/latent rollout 的闭环延迟；③ 缺少同时衡量“想象是否物理正确、动作是否可执行、二者是否因果一致”的统一指标。
§6 评测：不能只看 FVD，也不能只看成功率
按截图的最后一步
视觉逼真不等于物理正确，动作成功也可能只是 policy 记住了数据。WAM 应至少三层评估：生成质量、物理常识、下游动作；更进一步，还要测同一个未来预测是否真能解释那段动作。
关系图 6 · 评测必须从“像不像”逐层走到“因果是否一致”
越往右越接近真实闭环
Level 1 · Appearance画面质量FVD、PSNR、SSIM、LPIPS 只回答生成结果与数据分布是否相似。
→
Level 2 · Physics物理与常识VideoPhy、WorldModelBench、Physics-IQ 检查重力、碰撞、持续性和状态变化。
→
Level 3 · Actionability动作可恢复/可执行IDM 或 WorldSimBench 判断生成未来能否对应一段合理动作。
→
Level 4 · Closed Loop策略真实成功在 LIBERO、RoboTwin、CALVIN、真机任务中测成功率、延迟与恢复能力。
WAM 特有的第五问：同一个动作改变后，模型想象的未来是否也按因果方向改变？如果视频和动作分别得高分却互不对应，仍不是可靠的 world-action model。
🧠 理解检查
区分 Cascaded 与 Joint WAM 最可靠的标准是什么？
§7 两条必须并行看的支撑线
关系图 7 · JEPA、生成式 WAM 与 Real-to-Sim 在系统中怎样合作
不是三条互斥路线，而是三个系统层
数据与环境层Real-to-Sim / 3DGS把真实场景重建成可重复采样、可换视角的环境；物理引擎补足碰撞、关节与接触。
状态与预测层JEPA / Latent World Model舍弃非必要像素细节，在紧凑表征中预测任务相关未来，适合低延迟规划。
高带宽生成层Video / Diffusion WAM生成可视未来、动作或二者，用于可解释想象、数据扩增和多模态训练。
Real-to-Sim 提供经历生成大量可控交互与反事实场景。
→
World Model 压缩规律学习哪些状态变化对任务真正重要。
→
Policy / WAM 选择动作在想象与真实反馈之间闭环修正。
LATENT WORLD MODEL
JEPA：不生成像素，预测任务相关 latent
REAL-TO-SIM / 3DGS
把真实世界变成可渲染、可碰撞、可评测的环境
我的判断
生成式 WAM、latent JEPA、real-to-sim 并不是三选一。最有可能的系统形态是：real-to-sim 提供可交互数据与评测场，latent world model 提供低延迟状态预测，生成模型提供高带宽想象与数据扩增。
