4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

静态 3D Gaussian Splatting 用显式高斯点和可微 rasterization 获得实时新视角渲染，但真实世界会运动、形变和遮挡。最直接的方法是每个时间点维护一套 3DGS，存储与训练成本随帧数增长，也没有显式连接同一物体跨时间的身份；动态 NeRF 的变形场能共享 canonical space，却常受体渲染速度限制。

4D-GS 只维护一套 canonical 3D Gaussians，用时空结构编码器和轻量多头 decoder 预测每个时间的位移、旋转与尺度变化，再直接 splat 变形后的高斯。它把“动态世界”表示成持久空间实体 + 时间条件变形，重点优化照片级 novel-view rendering 和实时速度，而不是动作条件物理预测。

动态 NeRF 常把观测点映射到 canonical field，或直接学习 time-aware radiance field；它们表示连续但每个像素需沿射线采样。3DGS 把场景变为显式可光栅化高斯，实时渲染强，却原生假设静态。4D-GS 将 deformation field 作用在 Gaussian 参数上，既共享 canonical entity，又保留 rasterization 吞吐。

这也是它对 world model 的边界：时间 $t$ 是观测索引，不是动作 $a_t$；变形来自拟合已录视频，不保证外力改变后仍正确。后续 SplatSim、GSWorld、GaussGym 会把高斯外观绑定到 physics engine 的刚体/碰撞资产，才形成可交互 Real-to-Sim。

静态 3DGS 用一组带位置、协方差、颜色和透明度的高斯表示场景。直接给每个时间戳保存一整套高斯，存储随帧数线性增长；4D-GS 只保留一套 canonical 3D Gaussians，再学习一个由 $(x,y,z,t)$ 驱动的 deformation field，把它们在指定时刻移动、旋转和缩放。

监督来自目标图像和时空网格的 total variation；没有 action、reward、接触状态，也没有 policy loss。它学到的动态可以非常像，但主要是在训练分布内解释已观测运动，而不是对任意机器人干预做因果外推。

它能把真实世界压成高速、可微、时空连续的观测层：适合 real-to-sim 背景、相机重放、视觉域随机化、训练数据渲染和预测结果可视化。机器人 world model 若输出 object-centric state 或未来 mesh，可以再通过 GS renderer 变成像素；反过来，也可从 4DGS 提取 motion prior。但接触、控制与反事实仍要显式 physics、object state 或 action-conditioned latent dynamics 补上。