跨本体：人手与夹爪不是同一件事
示范表达的是任务意图和接触结构，不是可直接复制的关节角。模型需要把“抓住—转动—放置”映射为目标本体可执行的运动。
TOPIC 03 · VERIFIED 2026-09-26
Embodied In-Context Learning：把示范从训练数据变成任务接口
语言模型里的 ICL 是“在 prompt 里给例子，不更新权重”；搬到机器人后，例子变成连续视频或传感—动作轨迹，输出变成闭环动作。真正困难的不是把视频塞进 context，而是让模型跨本体理解意图、跨速度追踪进度，并在有限上下文和控制延迟里把未来转成可执行动作。
● 原始来源：2 篇研究博客 + 2 篇 arXiv 论文● 指标只在各自协议内解释，不跨团队硬排名
§1 一句话先钉死：ICL 不是“在线微调”
这一节解决什么
上一节还没有定义“学会”。这里先把两种适应分开：ICL 改的是推理时输入，SFT / TTT 改的是参数或快权重。二者可以组合，但不能把“给 10 步梯度”也叫一次性 ICL。
DEMONSTRATE给任务示范语言模型收到 token 例子；机器人收到视频、轨迹或传感—动作片段。
→
INFER在上下文里解释模型从示范推断目标、对象、顺序、接触方式和任务进度。
→
ACT · NO UPDATE权重不变，动作改变同一 checkpoint 因 context 不同而执行不同任务；撤掉示范后能力不再被永久写入。
最容易混淆的边界
GEN-1.5 同时报告 0 步的 one-shot ICL 与 1–10 步的快速适配；59% 属于 ICL，83% 属于 10 步梯度更新。把两者写成同一种“上下文学习”会掩盖真正的系统差异。
§2 为什么具身 ICL 比语言 ICL 难：三道对齐题
定义清楚后，问题不再是“有没有 context window”，而是这个窗口里的经验能否在另一台机器、另一条时间轴和真实控制周期里成立。
时间对齐：示范和执行没有逐帧对应
人类可能 10 秒做完，机器人可能要 30 秒并中途重试。系统必须定位“我做到哪一步了”，而不是按录像时间戳机械回放。
上下文成本：视频 token 会吞掉算力
长示范、多视角和高控制频率迅速放大 token 数。工程上需要前缀缓存、进度压缩、future chunk 或分层任务表示。
§3 四篇工作不是同一种方案
前两篇证明规模化预训练后可以出现或强化 video prompting；HOST 显式解决时间与本体对齐；Zero-WAM 则把“先预测机器人未来、再读出动作”做成可规模训练的 WAM 路线。
GEN-1.5 · 能力从连续预训练里“长出来”
把 3–12 秒 sensorimotor demonstration 放进 30 秒上下文，模型直接输出 100 Hz 动作。作者强调没有为 ICL 设计专门结构或 meta-learning 循环；physical prompting 是规模预训练后的涌现行为。
59%0 步 · one-shot
66.5%1 步 · 1 分钟
83%10 步 · 5 分钟
证据边界：没有公开模型、代码或完整评测协议；“涌现”是团队对内部模型的解释，不能由现有材料独立复核。
Skild S1 · 把 ICL 明确写进预训练任务
训练时每个 episode 都由示范指定任务，迫使模型从不同视角、场景和本体的视频里解析意图。重点不是单个精细动作，而是 4–10 分钟未见任务的技能组合、进度追踪与错误恢复。
66%100k h · unseen
9%同规模语言 VLA
≈380一条 prompt 的 SFT 等价点
证据边界：内部数据、任务集和模型细节未公开；66% 与其他工作的成功率不能直接比较。
HOST · 用“任务进度”拆开跨本体映射
先用 Smooth DTW 把人类视频与机器人轨迹落到共享进度流形，再级联预测：当前进度 → 下一段机器人视角未来 → 动作。这样把“人类像素直接回归机器人动作”的难题拆成两个更稳的接口。
29 s平均技能获取时间
62%8 个未见任务
99%旧技能保留
证据边界：62% 仍不是部署级可靠性；Smooth DTW 的单调时间假设在重试、跳步和多人示范分歧时需要额外检验。
Zero-WAM · 让世界模型承担 ICL 的中间层
人类视频被编码为 prefix memory；模型先生成机器人执行该任务的未来视频 chunk，再从预测未来解码动作。HumanGen 用机器人轨迹反向生成匹配的人类示范，IFP 训练目标迫使主干读取示范里的长期任务信息。
74.2Khuman–robot ICL pairs
8.6KHumanGen 任务
46.95%7 个 RoboTwin 未见任务
证据边界：仿真主结果来自 7 个 held-out tasks；真机展示覆盖长程与精细插入，但论文没有把控制延迟和频率作为主指标报告。
§4 横向对比：同叫 ICL，模型到底从哪里读任务
| 工作 | 上下文是什么 | 训练时如何逼模型使用 context | 推理链 | 是否更新权重 | 最强证据 | 公开性 |
|---|---|---|---|---|---|---|
| GEN-1.5 | 3–12 s sensorimotor demo | 没有专门 ICL 结构；依赖连续大规模物理预训练 | context → 100 Hz action trajectory | ICL：否；few-step：是 | 0 步 59%；10 步 83% | 博客 |
| Skild S1 | 一条视频示范 | episode 级 demonstration-conditioned pretraining | video prompt → long-horizon action | 否 | unseen：视频 66% vs 语言 9% | 博客 |
| HOST | 单条约 29 s 人类视频 | 共享 task-progress manifold + coupled targets | 进度 → 未来观测 → 动作 | 否 | 62%；旧技能保留 99% | 论文 + 代码 |
| Zero-WAM | 人类视频 prefix memory | HumanGen 配对 + IFP 预测多段未来 | 未来视频 chunk → 动作 chunk | 否 | 46.95% vs 17.45% / 10.98% | 论文 + 代码 + 数据 + 权重 |
不要做排行榜
四组数字来自不同机器人、任务长度、成功定义、干预协议和数据规模。正确读法是看每篇内部的受控对比与消融，而不是说 66% 的 S1 “超过” 62% 的 HOST。
§5 从四篇工作抽出一条统一机制
把论文名拿掉，四条路线都在回答同一个问题：怎样把示范压缩成可执行的任务状态，并在机器人不断偏离示范时重新定位。
输入层
示范必须携带语言难以编码的动作细节。 对象实例、接触位置、工具姿态、步骤顺序和完成标准都可由视频提供；语言更适合选任务与组合高层目标。
表征层
不要强迫人和机器人在像素或关节上直接一致。 GEN/S1 依赖大规模模型隐式吸收对应关系；HOST 显式构造 task-progress manifold；Zero-WAM 用未来机器人视频作为跨本体中间表示。
时间层
执行状态必须持续对齐到“示范做到哪”。 长程任务需要进度记忆和失败恢复；未来 chunk 预测的价值，是把遥远目标变成当前可监督的中间未来。
动作层
动作是读出接口，不一定是唯一主干。 HOST 与 Zero-WAM 都先构造更容易跨本体的未来，再解码动作；这正是 ICL 与 world model 合流的位置。
§6 建议学习路线：先学“任务接口”，再学“未来中间层”
GPT-3：示例改变当前函数行为，但不改变参数。先把 ICL、SFT、meta-learning、TTT 四个概念分开。
ICRT、Instant Policy、Behavior Prompting：示范怎样作为 policy context，而不是任务训练集。
GEN-1.5 看涌现式 physical prompt；S1 看 demonstration-conditioned scaling 与长程组合。
HOST 学进度流形；Zero-WAM 学 future chunk、HumanGen 与 IFP，进入世界模型—动作合流。
§7 工程判断：ICL 不替代 SFT，而是重新分工
四篇材料最值得保留的不是“机器人也有 ChatGPT 时刻”，而是新的部署分层：先用 ICL 冷启动并快速验证，再决定是否值得把任务固化进参数。
任务多变、长尾、要快速上线 → 先 ICL
新任务只出现几次，示范容易获得，允许中等成功率和人工复核。目标是分钟级试运行、发现上下文设计问题。
任务高频、固定、要求 99.9% → 再 SFT / RL
通过 ICL 验证任务价值并收集真实失败后，再把技能固化为专用策略；产线下料不应只依赖一次视频 prompt。
示范者与执行者差异大 → 显式中间层
优先考虑 HOST 的进度流形或 Zero-WAM 的机器人未来视频，避免把人手像素直接回归成机器人动作。
长上下文或高频控制 → 做系统预算
必须同时报告 prompt 编码耗时、prefix cache、每步延迟、控制频率、显存和示范长度，成功率单点不够。
🧠 理解检查
下面哪一种最严格地属于 embodied in-context learning？
§8 证据审计：哪些结论现在可以信到什么程度
方向性结论
视频比语言承载更多动作与时间细节；跨本体需要中间表示；任务多样性比单纯轨迹数量更关键。这些判断在四条路线中相互印证。
方法性结论
进度对齐、future chunk 与 IFP 能提升未见任务表现，但仍需更多本体、移动操作、柔性物体和非单调执行的独立复现。
“ChatGPT 时刻”
现有成功率、私有任务集、算力门槛和控制延迟仍不足以支持通用产品结论。ICL 是新的任务接口，不等于可靠通用机器人已经完成。
展开原文 · GEN-1.5
“learn a new task in seconds, from a single example”
— Generalist AI research blog, 2026-08-19
展开原文 · Zero-WAM
“the natural task specification for manipulation is a human video”
— Zero-WAM abstract, arXiv:2608.26103