具身智能学习笔记

面试向阅读地图：把 VLM 拆成视觉编码器 + 连接器/投影器 + 语言模型三段，每个槽位配齐论文并标注"为什么读它"。 覆盖 CLIP/SigLIP/DINOv2（含"DINOv2 算什么"）、LLaVA/BLIP-2/Flamingo/Qwen2-VL 的对齐路线、 Transformer 现代标配与 MoE（Mixtral/DeepSeek-V3），以及 VLM→VLA 的必问衔接题（RT-2/OpenVLA/π₀ 站内直达）。

BeingBeyond（research.beingbeyond.com/being-m07）：不预测像素、只预测未来 DINO 视觉隐状态 + 运动的 latent WAM。 万小时三流语料（视频-动作对/纯视频/纯动作）用 MoT 混合模态预训练"世界演化先验"，再接轻量动作专家落地真机。 人机共享的紧凑运动表示（头+两手两脚）桥接形态鸿沟。真机 G1 四任务：7/15 超 Ψ₀(3) 与 GR00T(2)。

北大 + Galbot（arXiv:2607.06988）：部署后 steering 新范式——人类视频不做重定向、不当上下文， 用自监督视频预测把它"写进"冻结 WAM 里的 TTT 快权重（1 步梯度）。meta-training 用 2286 对人机数据校准"人类 K/V ↔ 机器人 Q"读出接口。 3 本体 9 任务：46.2% vs ICL 7.1%；域内最高 + 场景漂移留存率最高（0.76）。含 co-training 反噬、伪动作 −43 分等硬核消融。

USC PSI Lab + NVIDIA（arXiv:2603.12263）：反 co-training 主张——VLM 从 800h 人类第一视角视频学任务先验（任务空间/单步/离散）， MM-DiT action expert 从 30h 真机数据学关节控制（关节空间/块/flow matching），两种动作分布不混训。 8 个长程任务比第二名 GR00T-N1.6 高 40%+，基线数据量是它的 10×。含 training-time RTC、三系统架构、遥操作全链路拆解。

清华 + Galbot（arXiv:2606.03985）：2B 帧动作语料训 ~300 个 PPO 专家，DAgger 并行蒸馏进 causal Transformer（5.7M–80M）， Unitree G1 零样本跟舞蹈/功夫/翻身起立。首次给出 motion tracking 的 scaling law——MLP/TCN 早饱和，Transformer 还在涨。 含与 SONIC 的逐维对比（相反的押注：架构 scale vs 接口生态）。

CMU CoRL 2022（Fu/Cheng/Pathak）：单个 RL 策略同时控制 Go1+WidowX 19 DoF，不分层、不解耦，学出人类般的腿臂协同。 首创两大技术并被 VBC 沿用：Advantage Mixing（拆解-混合解决高 DoF 信用分配）+ ROA（单阶段双向对齐 Sim2Real，RMA 的推广）。 含全部 RL 公式逐项解读 + DeepWBC→VBC 演进对照表。

UCSD CoRL 2024：装了机械臂的四足狗（Unitree B1+Z1，19 DoF），用『腿+臂』全身协调去抓不同高度的物体——弯腰屈膝够到地面垃圾。 三阶段训练：低层 RL 通用全身策略 → 高层特权教师 RL → 视觉学生 DAgger 蒸馏；全程仿真训练，零真机数据 Sim2Real。 含完整 RL 公式逐项解读（PPO / 奖励表 / IK / ROA / DAgger）+ 复现操作总结。

NVIDIA 2026-06-09 最新：Mixture-of-Transformers 架构，一个模型统一 Language / Image / Video / Audio / Action 五种模态。 Reasoner Tower（因果 AR）+ Generator Tower（扩散生成）共享同一组 Transformer 层，MoT 实现理解和生成并行。 Cosmos3-Nano-Policy-DROID 39.7 分超过 π₀.₅（28.1 分），T2I/I2V 被评为最佳开源。

NVIDIA 2026-02：200M 视频片段训练的视频世界模型，Flow Matching + WAN2.1 VAE + Cosmos-Reason1 VLM 作为文字编码器。 支持 T2W / I2W / V2W 三种推理模式，2B 和 14B 全开源。 DreamDojo、MotionWAM 等下游工作的视频生成基座；Cosmos-Transfer2.5 提供 Sim2Real 转换。

NVIDIA 2026：44k 小时自我中心人类视频预训练，潜在动作作为统一代理标签，首个实现 OOD 跨具身泛化的机器人基础世界模型。 蒸馏 Pipeline（Self Forcing）压缩到 4 步去噪，实时 10.81 FPS，支持遥操作 / 策略评估 / 模型规划。

NVIDIA 2026：以运动追踪为可扩展基础任务，100M 帧 + 21K GPU 小时训练通用全身控制器。 FSQ Universal Token 统一机器人/人类/混合运动命令于同一离散 token 空间，99.6% OOD 追踪成功率。 MotionWAM 的 k_t 就是 SONIC 的 universal token，SONIC 作为底层运动引擎被 MotionWAM 复用。

Mondo Robotics + HKUST 2026：MotionWAM 的先驱工作。双 DiT 架构（Video DiT + Action DiT）， 在固定 flow timestep τ_f 用 forward hook 提取 intermediate hidden state，Dual flow-matching 联合训练。 LIBERO 98.6% SOTA，样本效率比语义对齐高 10×，收敛快 7×。

清华/Galaxea 2026：严格受控消融——保留训练时 video co-training、去掉推理时视频生成， RoboTwin 91.8%（无 embodied pretraining），190ms 实时推理（IDM 的 1/4 延迟）。 核心结论：WAM 的收益主要来自训练时视频联合目标，而非推理时显式想象未来。

AGIBOT Finch 2026 最新：VAM（视频动作模型）+ ACVS（动作条件视频模拟器）共享 Wan2.2 5B 视频 DiT 骨干， 27.3K 小时异质数据（机器人 65% + UMI 24% + Ego 11%）用模态掩码统一训练。 推理时计算（RCS + LAR）让成功率从 43% 提升到 60%，4 个精操作任务平均成功率 64%，超 π₀.₅（44%）和 Fast-WAM（20%）。

Mondo Robotics 2026 最新：双 DiT 架构（Video DiT + Motion DiT）耦合视频世界模型与全身动作， unified motion latent 统一控制 locomotion、torso、足部交互、手部操作。三阶段训练从 2,136 小时视频到 9 个真实任务， 成功率比 SOTA VLA 高 32%，首次实现实时闭环 WAM。

VLA 开山之作：Google DeepMind 用 PaLI-X 55B / PaLM-E 12B 直接微调输出动作 token， co-fine-tuning 保留 Internet 语义知识。涌现能力：符号理解、数学推理、人类识别—— robot 数据中从未出现过的能力。OpenVLA 和 π₀ 的共同起点。

第一个完全开源的通用 VLA：Prismatic-7B（SigLIP + DINOv2 + Llama 2 7B）在 970k 轨迹上微调， 动作离散化为 256-bin token。7B 参数比 55B 的 RT-2-X 高 16.5%，LoRA 微调只需 1 张 A100， 4-bit 量化后 7GB VRAM 即可部署。

Physical Intelligence 2026 最新：架构小升（Gemma3 4B + 860M Action Expert = 5B）， 核心在 Diverse Prompting——subtask 指令 + BAGEL world model 生成 subgoal 图 + episode metadata（speed/quality/mistake）让通才 VLA 可操控。零样本跨本体折衣服匹配人类遥操。

Physical Intelligence 2025-11：在 π₀.₆ 基础上加 RL 回路。把 advantage 当 prompt token、 独立 distributional VF 当裁判、纯 SL loss 完成 RL 改进——绕开 flow matching 没有可计算 log-π 的死结。 真机：13h 连续做 espresso、2h 折新衣物、最难任务 2× throughput 且失败率减半。

Physical Intelligence 2025 续作：架构小动两刀（state 进 prompt + adaRMSNorm）， 训练换两阶段（discrete pre + flow post），数据混 web/HL/VI 异质源。在没见过的真家做家务。 §6 对照 openpi 源码：哪些公开了、哪些只在 paper 里。

以 openpi 的 transform 链为主线：7 层适配器 + 镜像对称（训练 .inputs 单向 / 推理 .inputs+.outputs）+ norm_stats.json 做粘合。逐层展开每个 transform 的"做什么/为什么/代码在哪"， 以及 LIBERO / ALOHA / DROID 三种数据集的适配差异对照。