Video Generation Models as World Simulators
OpenAI · 官方网页技术报告 · 2024-02-15 · Zotero 6WS6VWM6 · 无官方论文 PDF
Sora 的架构材料以 OpenAI 官方网页技术报告发布，不是会议论文，也没有官方 PDF。本站将它作为 webpage/technical report 导入 Zotero并链接原始 URL；不会把第三方转载或本站打印件冒充论文附件。
§1 它提出的研究命题
报告把大规模视频生成训练描述为通向“通用物理世界模拟器”的路径：当模型统一学习不同长度、分辨率、宽高比和内容的视频/图像后，会出现部分 3D 一致性、物体持久性与数字世界模拟能力。但这些主要由生成样例呈现，不是统一物理 benchmark 的证明。
§2 统一表示：把视觉数据变成 spacetime patches
- 统一接口
- 不同尺寸与时长只表现为 token 数不同，Transformer 主干无需固定输出网格。
- 原生规格训练
- 避免强行 resize/crop 破坏构图，让模型学习竖屏、横屏与不同镜头时长。
- 可扩展
- patch 数仍随视频体量增长；训练需要分桶、并行与高压缩 tokenizer，报告未给完整实现。
§3 文本条件：caption 质量决定可控性
报告强调用高度描述性的字幕重新标注训练视频；推理时再让语言模型把用户短 prompt 扩写成与训练 caption 分布更接近的描述。它提升文本忠实度，但也意味着“模型理解了什么”部分取决于 captioner 与 prompt rewriter。
1. 保留原生视觉规格
不把所有样本压成同一长宽与时长，训练批次需处理可变 token 数。
2. 生成密集 caption
把主体、动作、环境、相机运动与时间变化写进训练条件。
3. 在时空 patch 上扩散训练
Transformer 接收 noisy patch、timestep 与文本条件，学习还原视觉 latent。
4. 用户 prompt 先扩写再生成
语言模型把短指令改写为训练风格长描述，再送入 Sora。
§4 为什么报告使用“world simulator”这个词
| 3D consistency | 镜头运动时，场景元素可在一定范围内保持三维位置关系。 |
| Long-range coherence | 被遮挡物体有时会再次出现，人物/物体属性在较长片段内保持。 |
| World interaction | 可生成简单动作—后果、绘画痕迹和部分接触变化。 |
| Digital worlds | 能在一定程度上模拟 Minecraft 类画面和视角移动。 |
这些是qualitative emergence：说明模型学到部分规律，但不能推出它拥有稳定、可查询、可干预的动力学状态。没有 action interface、counterfactual 评测和闭环控制时，它仍首先是视频生成模型。
§5 报告自己展示的失败模式
§6 对 WAM 的真正价值
Sora 证明“时空 tokenizer + 大规模 DiT + 原生规格数据 + 密集 caption”可以承载丰富视觉动力学。WAM 可继承这套视觉生成地基，再加入动作条件、机器人状态、价值/任务信号与交互数据。
- $z_{history}$
- 过去视频的 latent token，提供当前世界状态。
- $l$
- 文本或高层任务条件；Sora 类模型据此预测“可能发生什么”。
- $a$ 与 $s$
- 机器人动作和本体状态；加入后模型才需要刻画“执行这个动作会导致什么”。
- 箭头的含义
- 从观察相关性升级为可干预联合建模。漂亮视频是前提，但不能自动推出动作可行性或因果一致性。