InternW0-Δ：让未来监督留下表征，而不是部署时生成未来

A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data · Shanghai AI Laboratory
arXiv:2609.31394v1 · 2026-09-25 · 49 页 · 核读：2026-10-23

1 · 先纠正“RoboDojo 真机榜”，再看真正的 insight

Figure 1 · 两条条件通路与变化 token

1. A/R/C 是首帧、前一动作块前的帧、当前帧。视频 VAE 编成 latent，T5 提供语言；state 各自线性投影到两个专家。
2. 冻结 RynnBrain1.1-2B 读取当前多视图与指令，为动作提供场景语义；这不等于部署中让 VLM 生成逐步计划。
3. Δ 是可学习的预测表征 token；右上未来视频用于训练分支，部署会去掉，右下才是实际动作块。

2 · 两条未来监督，与一条不读取未来的控制路径

Figure 3 · 这张 mask 才是“没有未来泄漏”的证据

1. 行是Query，列是Key；A只读A，R读A/R，C读A/R/C。F读A/R/C/F；Δ读R/C/Δ，不读F；Act读A/R/C/Δ/Act，不读F。
2. 观测和Δ也不读Act，因此动作迭代时不会反过来改变视觉上下文，可以缓存其K/V。
3. 损失反向传播来自未来不等于前向输入偷看未来。训练标签可以包含未来，推理输入不可以。

Figure 4 · Δ 的两个老师不能混为一项

1. 右边回归干净latent的相邻差分，学习未来每段怎么变；它不是实际渲染出的未来图。
2. 左边让第8层Δ对齐第20层终端未来特征，后者stop-gradient。一个约束变化量，一个传递较丰富的中间表示。
3. 相同空间位置不保证物体对应；相机运动、遮挡也会改变latent。这是表示学习目标，不是显式物理状态差分。

Figure 2 · 4D 老师只在训练里提供目标

1. Track4World 对齐动作时间窗读真值视频，产生几何 1024、2D运动128、3D运动256、相机18、可见性4，共1430D；每块分别归一化。
2. 学生取视频第15层干净 A/R/C 特征，16个query经过两层Transformer decoder，再均值池化和MLP。
3. 学生与老师描述符做MSE；部署两者都不调用。默认并不把1430D描述符额外塞进动作专家。

3 · 公式 1–20：先输入，再目标，再部署

t 是环境时间；σ 是去噪时间；z 是 VAE latent，不是机器人关节；A 是动作矩阵，和图中的 Anchor 字母 A 按上下文区分；Δ 为变化 token；sg 表示目标端停止梯度。下面按依赖合并解释所有编号，数字均为教学例。

Figure 5 · 真正的部署调用链：1次视频＋N次动作

1. 每轮新观察编码A/R/C，加Δ做一次video expert prefill，将30层K/V缓存。没有创建F未来token。
2. 32×80动作从噪声迭代，动作专家每轮复用同一缓存；不解码未来视频。
3. 执行后拿新观察更新缓存。缓存只在同次动作调用内不变，不能永久跨变化场景复用。

4 · 23K小时、80/10/8/2与损失权重是三件事

库存合计23,072.74小时。类别内按有效起点帧加权并作trajectory balancing。若仅粗略看“采样率×动作权重”，四类为.8/.01/.04/.002，但这不是实际梯度占比，还取决于误差、掩码、模态损失等。不能用小时比直接推断模型学了多少人类知识。

Robot过滤前13,867.71h→11,302.20h；UMI时长下降但episode从250,135变416,053，因为分段。Ego2Robot仅成功覆盖原始1,101.55h、283,450个源episode，最终多本体输出5,633.77h、3,730,513段；robot-hours在2倍慢放前统计。过滤失败也可能来自视觉合成，不只IK不可达。

训练256×A800、global batch4096、245K steps≈14天；前235K不蒸馏，后10K加入4D，每卡16样本仅1个有老师描述符。后训练各benchmark/本体分别适配。同一预训练起点不代表部署共用同一最终权重。

5 · 人类到机器人：动作、IK和视觉各修什么？

Figure 6 · Ego与Ego2Robot走的流程不同

1. 上路手腕映射为EEF，指尖距离估夹爪开合；普通Ego只做动作/速度对齐。
2. Ego2Robot另搜机械臂基座和逐帧IK，检查跟踪、限位、连续性、完整性和双臂碰撞；这是制作数据时离线计算。
3. SAM3去人、ProPainter补背景、渲染机器人并做深度遮挡合成。几何能到不等于真实接触动力学已验证；不是EgoHumanoid-V2的SONIC rollout修正。

基座外循环先为左右臂各列候选，用粗/中密度轨迹IK筛选，再配对检查间距与交叉碰撞，最后完整逐帧验证，取排序中第一个通过的组合。相比只检查关键帧，能发现中间不可达和关节解跳变。整个步骤是离线生成监督数据，不是部署每帧在线做这套搜索。

Figure 7 · 合成机器人视频的证据与局限

1. 同一原始人类场景可转换成多个机器人本体。图像是在修补后的背景里合成，不是机器人真机采集。
2. 因此最终 robot-hours 可以大于成功覆盖的源视频时长；不能把它们当独立新增的人类经历。

6 · 从训练缓存到30Hz执行：别把频率算错

Figure 8 · 缓存首先要保证样本语义没变

1. 上图在线遇到样本时先查内存/磁盘，miss再编码；下图提前离线计算shards。两者都只复用冻结编码器输出。
2. 缓存key包括数据版本、episode、时间窗、相机、预处理、模型，以及影响VLM的提示/状态；增强或编码器变化后不可盲目命中。

Figure 9 · 编译与checkpoint并非一键全开

1. 每层独立Inductor图，外面eager调度；三层一组checkpoint节省激活内存。
2. checkpoint路径禁用CUDA Graph，因为作者验证其组合出现错误梯度。推理CUDA Graph可用不代表训练各种模式能任意叠加。

LIBERO/RoboTwin端到端训练吞吐提升3.02×/2.11×是在对应缓存与编译配置下；仅layerwise优化约20–30%。一次预计算代价、缓存磁盘成本并没有消失。

真机控制30Hz，预测32步（约1.067s），执行16步后发异步请求，还剩16步可执行，预算约533ms。训练随机保留0–16步干净动作前缀，只监督噪声后缀；部署前缀来自旧计划而非真值，依据最近延迟估长度并反复clamp。

RTT包含请求/传输、预处理、归一化、历史/前缀对齐、推理、动作映射与后处理。没有p99延迟和长时间掉帧/安全统计。表中92.78→92.23是另做的LIBERO-Plus成功率，不是该灵巧手RTT测试上的任务成功率。

Figure 12 · 为什么hard prefix也会突然抖动

1. 硬固定旧动作只能保证prefix本身，接入自由生成suffix仍可能突变；训练时见过干净prefix能学连续接续。
2. 边界/块内变化比：VJP8.94、hard prefix7.13、training-time RTC1.12；越接近1表示边界不比平常跳得更厉害。
3. VJP是单条trace，其余为均值且边界不同；这是诊断例，不是同分布大样本控制安全证明。

7 · 仿真、OOD、真机三张证据表

Figure 10 · 八行真机展示不是八套量化成功率

1. 从上到下为接饮料、吐司、鲁米诺、MOF、试管、倒水、叠杯、滴管。每行是时间序列。
2. 量化有/无预训练的对照只提供吐司和鲁米诺各20次；其他展示不能据此补成95%。化学任务画面用于研究评估，不是可直接照做的操作教程。

Figure 11 · 不同水位：定性泛化而非大样本曲线

1. 右端杯子是137条示范统一采用的目标标线；左边为三个不同标线的成功结果。
2. 证明存在成功个例，但没有所有尝试数、失败率或连续水位分布评估，不能写成任意水位都稳定。

8 · 哪个组件、哪种数据贡献最大？

这组不是最终92.8模型的逐项扣分表，也没有全因子交互实验。4D老师替换为CoWTracker76.15、Pi3X73.63反而低于无老师76.45；Track4World descriptor直接喂动作77.78略低于纯辅助蒸馏78.37。因此“任何3D老师都有效”不成立。

它支持“本体/动作对齐影响人类数据可用性”，不支持“人类数据永远无用”。这些基准主要夹爪操作，且各来源规模/表示并非一个严格相等的剂量实验；没有系统最优混合率搜索。

9 · Agent联动、冲突清单与研究判断

§7.5只选择seed0下较差的五个RoboDojo任务，外部Astra给EEF纠偏，平均SR10.8→47.2；这是小范围选择性探索，不是42任务新总分，也不是主模型新增的内生Agent模块。xhigh五条全成与medium的差别样本极小。

最强结论：在这套训练系统中，未来变化表征与几何蒸馏可提高控制效果，并能通过单向依赖缓存降低在线成本。值得复用的工程点：先把状态/动作语义和时间对齐做对，再谈混合规模；控制连续性要让训练见到已承诺前缀，不能只追求平均推理FPS。