KNOWLEDGE ATLAS · 一张总图,多个观察维度

这些概念,究竟在什么范围里?

以当前 120 个笔记页面为范围,把“系统组成”“模型能力”“学习方式”“数据环境”分开。总图显示主干与代表工作;下方目录完整收录现有页面。页面存在不代表已经精读完成,重复版本也不等于新的论文。

适应打开矢量图 ↗可编辑 draw.io 源图 ↓
具身智能知识总图外层是具身智能研究范围。执行系统可包含规划、记忆、世界预测、动作策略与控制。VLA 嵌套于动作策略;WAM 结合预测与动作能力。学习方法、生成基础、环境和评测是独立维度。图下方有全部笔记的可访问目录。PAPER NOTES / EMBODIED AI ATLAS具身智能:把我们学过的内容放回一张图先看包含关系,再看能力组合;学习方法与数据环境是横向维度,不是模型的下一级。具身智能研究版图 / 系统 · 模型 · 方法 · 环境 · 证据大框=研究范围或系统组成 内框=局部组成/子类 箭头=作用或执行关系 并列栏不是严格互斥集合01 执行系统:具身 Agent / Harness可选组成示意:不是每个 Agent 都包含下方所有模型;模型也可单独训练与评测。任务理解与规划 · 上下文/记忆 · 工具调用 · 验证与恢复Astra / Jev 是可用的决策模型;GPT-Policy / RPent 是组织这些能力的系统〔本轮讨论扩展〕模型与策略工具箱:看“输出什么、怎样参与决策”,不要只按名字分家World Model世界模型:预测状态/观测如何变化在 latent / 表征中预测Dreamer · V-JEPA 2 · LeWorldModel在视频/可见状态中预测Cosmos · DreamDojo · Genie预测可供规划、训练或评测调用Action Policy动作策略:现在应该怎样行动VLA 是其中一类视觉 + 语言等条件 → 动作RT-1 / RT-2 · OpenVLA · π 系列其他策略:Diffusion Policy 等生成动作,不必显式预测未来世界WAMWorld Action Model · 世界动作模型世界预测能力动作生成能力级联:先预测未来,再提取动作联合:未来与动作共同建模UniPi · DreamZero · MotionWAM能力组合示意,不限定为两个独立网络WM ≠ WAM;VLA 与 WAM 也不是互斥标签。动作落地与反馈:IK / 运动规划 / 安全约束 / 全身控制 / 真实观测SONIC · DeepWBC · VBC · Ψ₀ · HuMI · OpenHLM | 执行闭环不自动等于学习闭环02 学习与适应:改变了什么?横跨不同模型,不是 VLA 的内部结构ICL → 上下文变化,权重不变GEN-1.5 · S1 · HOST · Zero-WAM模仿学习 → 更新策略参数BC / SFT:拟合专家示范DAgger:聚合学习者状态上的专家标注RL → 利用奖励改进策略离线:IQL / AWAC 在线:HIL-SERLVLA 后训练:RECAP / RL Token / DPPO想象 rollout:Dreamer / RISE测试时训练 TTT → 参数/快权重更新WAM-TTT:与严格“固定权重 ICL”分开自改进是外环目标,不是单一算法可更新:记忆 · 代码 · 策略 · 训练流程共享支撑层 ┄┄ 下面的基础、数据和评测服务于上方多条路线,并非某个模型独占03 表征与生成基础Transformer / VLM / 图像与视频表征DDPM · DDIM · CFGVAE / LDM · DiT · Flow MatchingWan · CogVideoX · Open-Sora · Sora同一套生成工具,也可以用来生成动作04 数据、环境与迁移机器人示范 / 人类视频 / 数据质检与坐标对齐Latent Action:LAPA / villa-X / Motus场景重建 + 物理仿真 + 3D / 4DGS 渲染Real → Sim → Real:重建、练习、回到真机SimFoundry · SplatSim · GSWorld · GaussGym05 评测与可信证据视觉:VBench / WorldScore物理:VideoPhy / Physics-IQ动作:WorldSimBench闭环:成功率 / 延迟 / 安全好看的视频 ≠ 可执行的策略06 理论与认知背景LeCun 自主智能架构 · 婴儿认知发育 | 解释为什么要感知、预测、规划与学习,不是运行时必须装入的模块。范围:120 个现有笔记页面(不是独立论文数,也不代表掌握程度) · 按主要用途归档,跨域关系保留 · 2026-09-26

读图顺序:① 执行系统里有什么 → ② 经验改变哪里 → ③–④ 用什么基础与数据支撑 → ⑤ 怎样证明有效。点击图中有链接的区域可跳到对应目录;手机上可用“100%”放大后滑动。原图是概念组织,不是每个机器人都必须具备的标准架构。

World Model ≠ WAM

World Model 侧重世界如何变化;动作条件动力学常写成“当前状态 + 动作 → 未来”。WAM 将未来预测与动作生成/提取结合,可以是级联,也可以是联合模型。WAM 不是纯预测模型的同义词;不同论文边界不完全统一。

VLA 与 WAM 可以交叠

VLA 强调视觉、语言与动作的策略接口;WAM 强调预测与行动的结合。因此不把它们画成严格互斥集合。生成视频的方法也不自动拥有可控动力学,JEPA 则不必生成像素。

训练方法不是模型的子模块

同一个 VLA 或 WAM 可以用模仿学习、RL 或上下文适应。ICL 更新上下文,TTT 更新参数;DAgger 聚合专家监督,不能因交互就归为 RL。3D/4DGS 是表示与渲染,不等同物理仿真。

总图背后的 120 个笔记页面

每页有一个主归档位置,避免重复计数;正文中的跨域关系仍然保留。Astra、Jev、GPT-Policy、RPent 为本轮讨论扩展,不计入已有页面数。

专题路线与训练指南 5 页

入口页面,不计作独立论文。

动作策略 · VLA 9 页

按主要学习用途归档,不是互斥分类。π₀.₇ 等同时连接预测与规划;Diffusion Policy 不必以语言为条件。

世界预测 · World Model 9 页

学习状态、表征或观测怎样变化;是否接受动作、是否生成像素,要看具体模型。

预测与动作的结合 · WAM 及相邻路线 28 页

同时覆盖级联、联合与预测表征辅助策略。并非每篇都自称 WAM,也不是每篇推理时都生成未来视频。

学习、适应与策略改进 27 页

BC/SFT、DAgger、RL、ICL 和测试时训练属于不同机制;QGF 等是推理引导,不等于部署时更新策略权重。

表征与生成模型基础 14 页

共享工具箱:可用于世界预测,也可用于动作生成。I-JEPA 是图像表征方法,不自动等于动作条件动力学模型。

数据、表征对齐与实现 7 页

数据管线、质量检查和 latent action 预训练为多种模型服务,不是某一个模型的专属子类。

场景重建、仿真与迁移 5 页

GS 是表示/渲染技术;可交互仿真还需要碰撞、动力学、控制和任务定义。

运动、全身控制与 Loco-Manipulation 8 页

策略输出还要在具体本体上落地;此处包括学习式运动策略与全身控制系统。

评测与证据边界 6 页

视觉质量、物理一致性、动作可用性和真机闭环是不同层次,不能互相代替。

自主智能与认知背景 2 页

理论组织与认知启发,不是某个机器人系统必须运行的组件。

来源与边界
这是一张基于本仓库笔记与本轮已核验资料的教学组织图,不是新的实验结果,也不是强制的学科分类。关键依据:WM / VLA / WAM 定义、级联与联合路线、策略改进、上下文学习、自主智能架构。Agent 扩展:GPT-Policy、Harness VLA、embodied-jev。
图中“包含”仅用于系统模块、能力组合或明确的子类;共用技术和训练支持采用旁置区域。WAM 的预测能力可能在训练阶段形成,不能由图推断每种方法推理时都会生成未来视频。整理日期:2026-09-26。