ToF ReSTIR: Time-of-Flight Rendering with Spatio-temporal Reservoir Resampling

一句话总结

把实时稳态渲染里的 ReSTIR 时空样本复用搬到 Time-of-Flight（飞行时间）渲染上，用一套”路径长度感知的 shift mapping”强制复用路径满足光程约束，从而在交互帧率下渲染时间门控图像与瞬态直方图。

研究背景

• 领域现状：ToF 成像通过测量光子返回传感器的时间来获取场景的时间分辨信息，支撑非视距（NLOS）重建、材质分析、自动驾驶感知等任务。为这些传感器做物理仿真需要 ToF 渲染，既有离线分析价值，也能为交互式、决策驱动的系统（实时重建、导航、闭环感知）提供数据。
• 核心痛点：物理精确的 ToF 渲染方法（瞬态路径追踪、椭球路径连接等）计算昂贵、只能离线；而快的方法依赖简化假设（如两次反射、朗伯面片、需要重网格预处理），无法在动态复杂场景下兼顾效率与物理普适性。稳态实时渲染里成熟的 ReSTIR 时空复用本可借力，但它对光程完全不敏感——直接拿来用，被复用的路径经常落在时间门（time gate）之外，贡献为零，复用几乎失效。
• 本文 idea：给 ReSTIR 的 shift mapping 补上”光程感知”。核心是把复用路径几何地微调，使其光程恰好落进目标时间门；这被建模成一个带约束的求根问题，用牛顿法求解。灵感来自镜面流形探索（specular manifold），但约束的自由度不同，需要额外处理。

方法

整体框架：沿用 ReSTIR-PT 的混合 shift mapping（随机种子重放 + 在第一个漫反射顶点做重连接）把基路径 x 变换成偏移路径 y，然后在 y 的基础上再叠加一个”路径长度感知 shift mapping”，只微调重连接顶点 p，使整条路径的光程满足 \(\ell(y') = \ell(x) + \delta\ell\)（\(\delta\ell=0\) 表示同一时间门内复用，\(\delta\ell=\Delta t\) 表示时间门平移）。这个修正被并入 ReSTIR 的广义 RIS 重采样权重与 MIS 权重中，保证无偏。

flowchart LR
  A["基路径 x (某像素)"] --> B["混合 shift mapping (Lin et al.)"]
  B --> C["偏移路径 y"]
  C --> D["路径长度感知 shift mapping (牛顿法解 p')"]
  D --> E["满足光程约束的 y'"]
  E --> F["并入 RIS/MIS 权重 时空复用"]
  F --> G["时间门图像 / 瞬态直方图"]

关键设计：

1. 把光程约束化为可解的约束方程组。只微调重连接顶点，光程约束简化为 \(\ell(p') = \ell(p) + \delta\ell\)，其中 \(\ell(p)=\lVert p_1 - p\rVert + \lVert p_2 - p\rVert\) 是 p 到两相邻顶点的距离和。把顶点用二维曲面坐标 \(\xi \in \mathbb{R}^2\) 参数化（重心坐标 / uv / 半球极坐标），问题变成”在曲面上找满足光程的 \(\xi'\)”。这在数学上很像求镜面流形上的有效路径，因此同样用牛顿法迭代。

2. 用 gauge 条件补齐缺失的自由度。这是与镜面流形的本质差异：镜面半程向量对齐给出 2 个约束、唯一确定 \(\xi'\)；而光程只是 1 个标量约束，\(\xi'\) 会落在一条等距（等光程）等值线上，多出 1 个自由度。作者借用物理里”规范固定”的说法引入一个 gauge 函数 \(G\) 补成二维方程组：\(F(\xi,\xi') = (\ell(\xi')-\ell(\xi)-\delta\ell,\; G(\xi')-G(\xi)) = 0\)。gauge 的选取直接影响顶点位移大小与是否可逆——固定轴向可逆但位移大；沿初始梯度位移小但不可逆（破坏无偏所需的双射性）。作者提出平均梯度 gauge：搜索方向取起终点梯度均值 \(m=(\nabla\ell(\xi)+\nabla\ell(\xi'))/2\) 再旋转 90 度，因对称依赖两端而保证可逆、位移又小。牛顿迭代需要 \(\ell\) 的梯度与 Hessian，可从对 p 的导数经切空间 \(J=\partial p/\partial \xi\) 转换得到；曲率二阶项通常忽略（当作局部平面）。

3. 初始样本生成同样吃这套 shift mapping 的红利。窄时间门下连有效初始样本都难产。方法一是复用椭球路径连接（Pediredla 等）生成高质量初始样本，与本文方法互补（论文对其做了适配 GPU 的启发式 BVH 节点采样）；方法二是路径长度收缩映射：先用较宽时间门采样，再把样本”收缩”回窄门，复用同一套牛顿迭代（只需按 \(1/K\) 缩放雅可比），\(K\) 为宽窄门比值。收缩映射单独用会有偏（偏暗），可用 MIS 结合窄门 canonical 样本消偏；但实践中把全部样本投给宽门（\(R=1\)）常常方差降得更多、且不像单纯拓宽时间门那样产生模糊。

4. 向瞬态直方图与多普勒频域的扩展。瞬态直方图把输出看成一串时间门（\(H\times W\times B\)），对每个 bin 独立做 shift mapping，代价是要更新全部 \(B\) 个 reservoir、并多出一个沿 bin 轴复用的维度；论文给出成本-收益分析，说明复用效率随 \(B\) 增大按 \(\frac{C_\text{trace}+C_\text{reuse}}{C_\text{trace}+B\cdot C_\text{reuse}}\) 衰减，故大 \(B\) 时宜只用较轻的时间复用。把光程约束换成路径速度（光程对时间的导数）约束，同一框架可直接做多普勒频移渲染。

实验结果

主实验为 Cornell-Box 系列在等时间预算下的离线时间门渲染，指标 MAPE（越低越好），对比 Path Tracing、Naive Reuse（直接套稳态 ReSTIR-PT）与本文方法，覆盖漫反射 / 玻璃 / 镜面三类材质：

场景（材质）	Path Tracing ↓	Naive Reuse ↓	Ours ↓
Diffuse-Boxes	0.3907	0.2205	0.0994
Glass-Bunny	0.2598	0.1384	0.0966
Specular-Dragon	0.4797	0.3858	0.2147

本文方法在三种材质下 MAPE 均最低；naive reuse 有时甚至比朴素路径追踪还差，因为其复用有效率极低（复用只能碰巧落在满足光程的椭球轨迹上）。其余结论以文字概括：时间门越窄本文优势越明显（门宽约为场景尺度 5–10% 是实用分界，更宽时 naive reuse 已够用）；牛顿迭代平均约 1.5–2.3 次收敛，牛顿成功率约 85–97%，但计入遮挡与雅可比剔除后的实际复用成功率更低（约 66–94%，随场景复杂度下降）。瞬态直方图（\(B=64\)）、动态场景时间门渲染、以及多普勒频移渲染（MAPE 从 PT 的 0.9859 降到 0.4538）均显示本文方法在等时间预算下质量最好。两个下游应用——NLOS 温度聚焦形状重建、基于 CNN 推理的 NLOS 导航——本文渲染的低噪声结果能重建出更准的隐藏几何、规划出不撞障碍的安全路径，而基线因噪声失败。

亮点与局限

• 亮点：
  • 把 ReSTIR 的复用威力首次系统地引入 ToF 渲染，抓住了”复用路径违反光程约束”这个真正的失效根因，解法（对重连接顶点做带 gauge 的牛顿求根）干净且理论上无偏。
  • 平均梯度 gauge 兼顾可逆性与小位移，是保证无偏复用的关键小设计；相比镜面流形，只需微调单个顶点，每次牛顿迭代代价低得多。
  • 覆盖面广：时间门图像、瞬态直方图、动态场景、多普勒频域、离线到交互帧率，并用两个真实下游任务证明”更低噪声 → 更可靠感知/决策”的实用价值。
• 局限：
  • 只微调单个重连接顶点、且只处理光程约束；同时涉及镜面与光程的混合流形没有解决，需要联合流形形式化。
  • 依赖 delta 光源假设，无法在扩展光源域上搜索（面光源需改用球面连接）。
  • 大 \(B\) 的瞬态直方图下复用性价比显著下降，且对无先验样本的时间 bin 缺乏有效的兜底采样；相比有偏的渐进 KDE，结果仍偏噪。
  • 梯度方向启发式不保证复用有效（可见性变化导致牛顿成功率与实际成功率有差距）；椭球连接的 GPU 启发式采样也承认可能次优。

延伸思考

• 这项工作是 ReSTIR “泛化 shift mapping” 思路（Lin 等 2022、Area ReSTIR、镜面流形 ReSTIR 等）向新约束维度的又一次扩展，把”时间/光程”当成和”镜面半程向量”平级的流形约束来处理，方法论上很有借鉴意义——凡是”稳态复用会违反某种硬约束”的场景，都可能套用”再叠一层带 gauge 的牛顿修正”这一模式。
• 作者提到的时间 bin splatting（类比运动模糊 ReSTIR）可能比逐 bin 求根更适合连续时间直方图，值得关注；混合镜面 + 光程流形是留给后续最硬的开放问题。
• 从应用看，”可微/实时 ToF 仿真 → 闭环感知与导航”的链路很有想象空间：低噪声仿真数据既能训练下游网络，也能在决策回路里实时评估，对缓解计算成像领域的复现困难是实在的推动。