模型
50B MoE；语言、图像、视频、动作统一序列；未来视频与动作联合flow。
世界—动作模型 / 人类经验与灵巧操作 · OCTOBER 2026 READING SERIES
Natura-1：百万小时人类经验，如何变成灵巧操作？
一句话核心洞见
关键不只是50B模型，而是把人类视频整理成语言—视频—动作的连续经验，再用统一序列和系统级推理把它接到灵巧手。公开证据更充分地支持数据与系统路线，还不足以复现精确训练配方或证明完全零样本长程控制。
数据
1M小时人类经验；61.70M episodes；机器人后训练规模未给。
真机
Base53.4 / Agentic59.1综合分；并非完整成功率。
部署
官方报告观测到动作≤100ms；硬件、分位数和token预算不完整。
01 · 它到底解决哪一层问题？
把一个人收拾桌面的第一视角视频给机器人，缺的并非只有一句“把杯子放好”：还缺手何时接触、如何绕开障碍、双手怎样协作、失败后如何调整。Natura-1希望把大量人类经验里的这些连续关系学进同一个模型，再迁移到灵巧机器人。它属于世界—动作模型与数据系统，不是像FLORA那样只输出标签，也不是人体动作重定向控制器。
英文术语 → 中文含义：egocentric experience＝以执行者视角记录的经验；world-action model＝同时学习环境变化与动作；Mixture of Experts（MoE）＝按token选择部分专家计算的网络。50B是模型规模，官方没有给每token激活参数量，不可当作每次都计算50B。
官方叙事有三个相互依赖的部分：能规模化整理的人类数据；统一序列建模；能在机器人时延限制内运行的基础设施。下面按“数据从哪里来→训练在学什么→部署执行什么→证据能支持到哪里”拆开。
02 · 人类视频怎样成为训练数据？
官方图 experience · 百万小时的库存，不是每天采集量
- 61,702,471 episodes、317,842 tasks、14,286 scenes是官方数据系统口径；task标签数不等于独立验证过的技能种类。
- 图中的百万小时是已整理经验；每周35万小时另指处理吞吐。机器人后训练量和人/机抽样比例均未公开。
官方图 data · 数据系统是带反馈的闭环
- 左侧有受控采集和互联网ego视频；选择、去重、信号质量检查之后，语言标注和运动重建两路汇合成轨迹。
- 语言分goal/subtask/action三层；运动重建恢复手和身体，不能由视频caption自动获得机器人可执行的关节命令。
- 最右任务分布反过来指导采集补缺。Kubernetes与Lakehouse支撑并行处理和多阶段产物，图报35万小时/周，不是机器人真机运行时长。
- 采集与筛选：受控采集覆盖单目、双目、多相机、腕部相机；互联网视频先分镜与切段，再检查手可见性、视频可读性和信号质量。
- 去重与校验：在不同供应方、整段视频和clip层面去重；时间戳、信号一致性、动作可读性影响一段数据是否真的可训练。
- 语言标注：goal描述最终目的，subtask描述阶段，action描述局部操作。多层上下文可避免把“为打开盒子而移动盖子”写成孤立的无目的位移。
- 运动恢复：从视频恢复稠密手和身体运动，形成动作轨迹。官方报告内部动捕真值集上的MPJPE相对改进41%，但没有完整绝对误差/基线/协议，不能据此宣布精确接触力或无误差重定向。
- 分布管理：任务taxonomy、语义聚类、覆盖缺口和采集配额形成反馈。更多小时只有在重复率、技能覆盖与标签质量被控制时才等于更多有效经验。
教学区分：恢复人类动作≠把人类关节角直接发给机器人。本文公开长文没有给出完整的机器人动作参数化、映射约束、接触标注与控制器接口，不能擅自接上SONIC、GMR或某套IK。
| 量 | 公开值 | 能否当训练配比？ |
|---|---|---|
| 人类训练经验 | 1,000,000小时 | 库存；不知道每类被抽到几次 |
| 处理吞吐 | 350,000小时/周 | 处理能力，不是新增采集量或每周训练量 |
| 机器人后训练 | limited robot data；未报小时 | 不能反推出human:robot比例 |
| 模态/任务分布 | 有taxonomy与分布反馈 | 未公开完整sampler权重与loss权重 |
03 · 主干图怎么读？训练与部署分别发生什么？
官方图 model · 一条序列、一份状态，过去与未来如何连接
- 蓝色视频描述看见的变化，红色动作描述手如何动；黑色state是图中的共享状态示意，不能直接等同某个已知维数的机器人本体状态。
- 左侧过去视频保留为memory；右侧未来视频是world-modeling目标。语言改变条件，意味着同一当前场景可以有不同未来。
- 底部把language/image/video/action放进统一序列和MoE。右侧joint denoising表示视频与动作联合生成，但没有公开具体mask矩阵，不能仅凭这张图判断每个token能看谁。
官方将语言、图像、视频和动作放入自回归序列，使用标准MoE主干与模态相关的布局、attention设计；未来视频与动作采用联合flow matching，并分别承担预测目标。过去视频保留作记忆。这里的“自回归”描述序列组织，“flow”描述连续模态的生成，二者并不矛盾：外层可以逐块推进时间，块内用多步去噪。
用一次“把杯子移到右边”来追踪信息
- 输入已有的语言、视觉历史与可用动作/状态上下文；这部分是已经观察到的信息。
- 模型学习条件于这些信息预测未来视觉变化与动作；语言应改变目标未来，而非仅成为装饰性caption。
- 部署接收新观测，更新持久状态，产生动作交给机器人；后续新观测纠正偏差。
已公开：共享序列、过去memory、联合video/action flow。尚未公开：逐层attention mask、future/action是否完全双向、部署究竟每轮生成多少视频token、积分步数、动作chunk长度、状态维数。此处没有伪造一个作者未给出的条件概率公式。
因此不能把Natura-1直接归入“OneWM未来只用于训练”或“InternW0-Δ移除未来分支”。也不能因为名字叫Agentic就假定与AW-0一样联合生成Python代码：官方目前只给Base/Agentic结果，没有足够的代码流、工具调用和训练细节。
自测：统一序列是否意味着所有token都能相互看见？
不意味着。序列排列、attention mask、loss施加位置和实际推理调用是四件不同的事。这里公开架构图还不能恢复后三者的完整实现。
04 · 50B模型为什么还要讲推理系统？
官方图 infra · 为什么50B仍能接近实时
- 左边训练流水线：数据读入和混合→模型前向与loss→优化器更新→验证、checkpoint；50%+MFU与98%GPU利用率不是同一种效率。
- 右边部署：session gateway→预处理和调度→data/control两条通道→GPU worker。CUDA graph复用执行形状，GPU cache保留状态，TP/CP/EP分摊张量、上下文和专家计算。
- 下方共享kernel，中央checkpoint转换连接训练与推理。≤100ms是整条服务链报告值，不能推成单卡50B稠密推理或固定100Hz。
灵巧操作要求在物体滑动或抓握变化后及时更新动作。官方报告20-DoF手和从观测到动作100ms以内的服务链。100ms对应约10次/秒的更新时间尺度，不是100Hz；也不等于底层伺服频率。多GPU、缓存、调度与kernel优化共同决定这一数字。
- MFU
- Model FLOPs Utilization，实际模型计算相对理论峰值的利用程度；不是GPU有工作时长的比例。
- TP / CP / EP
- Tensor / Context / Expert Parallel：分别拆张量计算、长上下文、专家网络。各自可能引入不同通信开销。
- CUDA graph
- 把重复执行形状记录后重放，减少CPU逐个发起算子的开销，不代表不需要GPU计算。
- Persistent cache
- 状态驻留GPU，避免每轮重算或搬运；具体保留哪些层、视频历史长度和淘汰规则未公开。
文中还报告attention超过1,200 TFLOP/s、相对FlexAttention约6×，整体训练1.7×、推理2×等系统结果。不同层级加速不可相乘，更不能把单kernel吞吐当整模型时延。缺少完整硬件、batch、输入长度与时延分位数时，这些应读作作者所测配置的工程报告。
05 · Benchmark：最值得注意的不是总分
官方图 benchmark · 分数、硬件与耗时必须一起读
- Natura用ROKAE AR5与Wuji灵巧手；Astra、π0.5同平台没有可测分数，展示的16.7/13.5来自ARX AC One夹爪。跨本体列不是控制了硬件的算法对照。
- Base53.4→Agentic59.1提升5.7个百分点，同时平均执行63.16→139.31秒。执行时间包括做事过程，不是神经网络一次前向延迟。
- 细分最弱项是in-hand16.7，而非所有灵巧任务都成熟。No result与夹爪Not scored不能统一填成0。
仿真证据表
| Benchmark | 公开结果 | 结论边界 |
|---|---|---|
| LIBERO / RoboTwin / RoboDojo | 本官方长文未报告对应标准仿真协议的结果 | 不能与OneWM、InternW0-Δ、UniWAM的仿真成功率直接排榜 |
分维度泛化/能力表（官方综合评分，非各维完整任务SR）
| 维度 | Base | Agentic | 读法 |
|---|---|---|---|
| 姿态与接触 | 56.9 | 63.2 | 不等同接触力误差测量 |
| 双手协作 | 50.0 | 61.5 | 本体直接影响能力 |
| 手内操作 | 16.7 | 16.7 | 显著短板；Agentic无提升 |
| 工具使用 | 57.3 | 66.7 | 工具规划与实际操作耦合 |
| 目标推理 | 32.8 | 35.4 | 远未解决所有开放指令 |
| 空间与场景 | 90.9 | 100 | 样本量未报，不能作普遍100% |
| 工具与物体泛化 | 100 | 100 | 仅针对所测分布 |
| 新动作 | 29.4 | 64.3 | 增益最大之一；Agentic实现尚不透明 |
| 组合泛化 | 73.7 | 77.8 | 不能单独证明上下文参数适应 |
| 规划 | 38.5 | 55.6 | 应同时观察执行耗时 |
| 记忆 | 57.7 | 70.0 | 未提供独立上下文长度消融 |
| 恢复 | 68.6 | 83.3 | 未提供在线学习/梯度更新证据 |
真机协议表
| 实验 | 条件与结果 | 不能混淆的量 |
|---|---|---|
| Base vs Agentic | 相同ROKAE AR5＋Wuji；总分53.4 / 59.1；平均执行63.16 / 139.31秒 | +5.7pp综合分，约2.21倍执行时长；不是模型推理延迟比 |
| 外部基线 | Astra/π0.5在ARX AC One夹爪为16.7 / 13.5；执行2734.56 / 289.11秒 | 换本体、任务可执行性与timeout混入差异；不是严格同硬件消融 |
| 泛化设置 | 官方称后训练未见任务、场景、对象、动作组合；展示最近训练样例 | 近邻检索不是完整预训练去污染证明；未报N与CI |
| 六个长程演示 | 包馄饨1:12、装盒2:21、泡茶1:42、书法0:50、贴膜3:01、酸奶2:20；单次连贯演示 | 带†：额外task-specific tuning；无总尝试数，不能换算SR |
官方还展示开放语言修改、临时工具和失败恢复。这些说明模型在所示轨迹里能响应意图与环境，但视频选择无法替代系统实验：需要未剪辑试验全集、失败率、成功标准和是否人工复位，才能判断长程鲁棒性。
06 · Scaling公式：人类数据增大，机器人误差为何也下降？
官方图 scaling · 八个checkpoint的离线误差曲线
- 横轴人类数据小时，纵轴动作误差，两个轴均对数。黑点为实测checkpoint，虚线为用全部八点拟合的幂律，不是留出预测。
- 机器人验证集在不继续训练的条件下误差随人类数据增大而下降；这个迁移证据有价值，但使用teacher forcing，仍不是机器人自主闭环成功率。
- 图给拟合系数和R²；没有动作归一化单位、闭环误差累积、控制频率与任务完整成功率之间的换算。
官方图中的幂律拟合
Human：MSE(D)=0.3570·D−0.2235；MAE(D)=0.5281·D−0.1622
Robot：MSE(D)=1.7193·D−0.3893；MAE(D)=1.2383·D−0.2330
- D
- 训练人类数据小时数。不是参数量、也不是机器人小时。
- MSE / MAE
- Mean Squared / Absolute Error，预测动作对参考动作的均方/绝对误差。MSE对大误差更敏感；动作归一化使这些数不能直接解释成厘米。
- 负指数
- 拟合范围内数据更多时误差更低；指数不是“成功率增长率”。
- R²(log)
- 对数空间拟合优度；Human两项0.981，Robot为0.948/0.964。全部8点参与拟合，不是独立外推检验。
教学算例：若沿Robot MSE拟合将数据翻倍，误差比是2−0.3893≈0.763，即拟合预测下降约23.7%，并非成功率增加23.7个百分点。该计算不是额外实测结果。
图上从约44K小时到1M小时，Human MSE 0.0320→0.0168、MAE0.0916→0.0574；Robot MSE0.0272→0.0088、MAE0.1034→0.0525。正文按未四舍五入值报告下降47.7%/37.3%与67.7%/49.3%，由图上圆整数重新算会略有不同。
Teacher forcing：预测下一步时给正确历史观测/上下文；机器人自主执行则会走到自己产生的、有误差的新状态。前者测分布内动作拟合与跨域表征，后者还包括误差累积、接触、观测漂移和恢复。因此“人类经验有助于机器人动作预测”有证据，“百万小时已经解决零样本闭环”没有从这组图得到证明。
07 · 真正的insight与值得复现的对照
我的解读：它把人类经验当成带时间、语言意图和运动的连续序列，而不只是一批视觉预训练图片；再把训练吞吐与机器人实时服务一起设计。这是“数据结构＋模型＋系统”的协同路线。当前最有说服力的迁移证据是机器人teacher-forced误差随人类数据量下降，最薄弱的是闭环样本量与Agentic机制公开程度。
- 数据实验：固定机器人数据、总训练token与算力，改变人类小时/质量/标注层级，测闭环SR与新动作泛化；避免只增加训练量同时换配方。
- 模型实验：分别消融过去视频memory、未来视频目标与语言分层监督；记录attention可见性和推理实际保留的分支。
- 系统实验：同硬件报告P50/P95端到端延迟、动作chunk、重规划间隔、服务并发与任务成功率，不只报kernel峰值。
- Agent实验：固定本体、底层policy与试验集，比较Base/Agentic成功率、重试次数、时间预算，并公开高层调用链。
自测：人类数据1M小时能否证明最优human:robot配比是“越多越好”？
不能。缺少机器人后训练量、sampler和总算力控制；数据质量/覆盖、训练阶段和监督损失也会改变最优比例。应与InternW0-Δ的80/10/8/2抽样、UniWAM小规模混合负迁移分开读。
来源导航：官方长文与交互图。本页是发布材料的证据化精读，不冒充尚未公开的算法论文全文；缺失的loss、mask、附录和代码路径明确留空。