Journal

Gaussian Wave Splatting for Computer-Generated Holography

Suyeon Choi, Brian Chao, Jacqueline Yang, Manu Gopakumar, Gordon Wetzstein

Stanford University

SIGGRAPH 2025HCI & XRComputer-Generated Holography3D Gaussian SplattingHolographic DisplayWave OpticsNear-Eye Display
PaperCode

一句话总结

本文提出 Gaussian Wave Splatting（GWS），推导出把 2D 高斯基元解析地转换为全息图的闭式解，并配套一套”波版本的 alpha 混合”，让基于少量随手拍照片优化出的高斯场景表示可以直接生成支持遮挡与视角相关效果的照片级全息图。

研究背景

  • 领域现状：全息近眼显示是下一代 VR/AR 显示技术，能直接调控光场的相位或振幅，从而校正下游光学像差、适配用户屈光度、提供真实的对焦线索，并允许使用超紧凑、”不完美”的波导光学。要驱动这类显示，必须有计算全息（CGH）算法把目标内容转换成空间光调制器（SLM）上的干涉图案。
  • 核心痛点：现有 CGH 算法要么慢且依赖不易获取的输入（如密采样光场），要么使用的输入本身不支持视角相关效果与遮挡（如 RGB-D），或难以表达照片级真实感（如网格）。点云需要海量基元且难处理遮挡；多边形法的波前足迹随三角形朝向、位置、大小变化，查表内存大、速度慢且有数值稳定性问题；光场全息立体图质量偏低。没有一种算法能用”随手拍的几张照片”这类现成内容，在交互帧率下给出照片级质量。
  • 本文 idea：借力神经渲染里已成熟的 3D 高斯表示——它显式、无神经网络、可微、优化稳定、渲染高效。作者为 2D 高斯基元推导一个精确的”高斯到全息图”变换，并设计波光学版的体渲染方程（alpha wave blending）来原生支持遮挡与视角相关效果，再在傅里叶域做高效近似并用 CUDA 核实现，得到 30 倍加速。

方法

整体框架：把现成神经渲染框架优化出的 2D 高斯（2DGS）从世界空间经视图变换、投影映射、全息变换送入”全息空间”，在该空间下为每个高斯求出其在 SLM 平面上的波前解析解，再用 alpha wave blending 从前到后把所有高斯的复值波前合成为 SLM 上的复值全息图，最后用双相位振幅编码（DPAC）转成相位型 SLM 可显示的相位图。

flowchart LR
  A[多视角照片] --> B[优化 2D 高斯场景表示]
  B --> C[坐标变换至全息空间]
  C --> D[高斯波前闭式解 GWS 方程]
  D --> E[Alpha Wave Blending 前后合成]
  E --> F[复值全息图]
  F --> G[DPAC 编码为相位型全息图]
  G --> H[SLM 显示 / 实验捕获 3D 全息]

关键设计：

  1. Alpha wave blending（波版本的体渲染）。经典体渲染沿光线积分辐射；这里改为把每个高斯的波前贡献沿光轴传播、从前到后”泼”到同一平面并做 alpha 合成，得到 SLM 处的复值波前 \(u_{SLM}(x)=\sum_i c_i o_i\, P\big(u_i(x;z_i)T_i(x);-z_i\big)\) ，其中累计透过率 \(T_i(x)=\prod_{j=1}^{i-1}(1-o_j\vert u_j(x;z_j)\vert )\) 。若忽略波传播算子与相位，它就退化为原始的射线 alpha 混合，因此它精确地继承了高斯的平滑不透明度衰减，能做到与射线版一致的精确遮挡，而不像已有多边形轮廓法那样靠二值孔径掩膜近似（会产生伪影）。

  2. 高斯波前的闭式解（GWS 方程）。这是全文的数学核心：高斯的傅里叶变换仍是高斯。作者从规范空间的零均值单位方差标准高斯出发，先用缩放矩阵做仿射变换到物体空间（借助二维傅里叶变换的仿射定理），再经旋转与平移映射到全息空间——平移对应傅里叶域的相位斜坡 \(e^{jk\cdot\mu_i}\) ，倾斜平面间的传播对应波矢的旋转重映射。最终得到任意朝向、任意位置 2D 高斯盘在 SLM 平面上角谱的解析表达式 \(\hat{u}_i(k)=2\pi\,\det(J)\det(S_i)\,e^{-2\pi^2 k^T\Sigma_i k}\,e^{jk\cdot\mu_i}\) 。这避免了为每个基元做一次 FFT 的倾斜传播，也规避了傅里叶坐标非线性重映射带来的数值误差，并可推广到任何有角谱闭式解的基元。

  3. 傅里叶域并行化的快速近似（2DGS-OIT）。把 alpha wave blending 变换到傅里叶域后会出现卷积项（透过率项），难以按频率并行。作者受传统图形学”顺序无关透明度（OIT）”启发，直接令透过率 \(T_i(x)\approx 1\) 丢掉卷积，使每个频率位置 \(k\) 可独立计算，用自定义 CUDA 核实现，获得约 30 倍加速。但 OIT 丢弃了基元顺序会破坏遮挡表达，于是作者用球谐系数表示”视角相关不透明度” \(\alpha_i=G_i\cdot \mathrm{SH}(o_i,d)\) 把遮挡与顺序信息重新引回，训练出专门配套快速 GWS 的 2DGS-OIT 模型，质量接近原始 2DGS。

此外作者还给出部分相干的 GWS 推广，用球谐角度核（并从 \([-\pi,\pi]\) 均匀采样多个相位以保持振幅剖面）来表达更完整的视角相关/视差效果。

实验结果

作者在合成 Blender 数据集与 MipNeRF-360 数据集上，用统一的 hsplat 框架比较不同 3D 表示下的 CGH 算法。主实验为模拟全息图的图像质量对比（合并模拟焦栈得到全焦图后与真值比较），GWS 相对基线取得约 5–11 dB 的 PSNR 提升。

方法 - 3D 表示 Blender PSNR↑ / SSIM↑ / LPIPS↓ Mip-NeRF 360 PSNR↑ / SSIM↑ / LPIPS↓
点云法（Chen and Wilkinson） 18.34 / 0.77 / 0.20 9.45 / 0.074 / 0.70
多边形法（Matsushima et al.） 20.79 / 0.81 / 0.18 15.77 / 0.27 / 0.65
本文（快速）- 高斯 26.55 / 0.92 / 0.10 20.70 / 0.59 / 0.42
本文（精确）- 高斯 27.30 / 0.91 / 0.11 22.37 / 0.58 / 0.40

其余结果用文字补充：运行时方面，在同分辨率同基元数下，快速 GWS（如 1024×1280、15k 高斯约 6.84s）与既有方法运行时相当，但质量显著更高，且相比精确 GWS（同配置约 180s）快约 30 倍。遮挡与视差的消融显示，朴素相加会过饱和、轮廓二值孔径法无法处理高斯平滑衰减，唯有 alpha wave blending 能精确重建并在重叠区呈现正确的混合色。作者还搭建了基于 FISBA 光纤模块与 Holoeye PLUTO 相位型 LCoS SLM 的样机，实验捕获了可重对焦、含视角相关效果的 3D 全息图；快速版存在轻微对比度下降与背景漏色，精确版因精确建模遮挡而更好。

亮点与局限

  • 亮点：
    • 首次把成熟的高斯神经表示与波光学全息打通，得到”高斯到全息图”的精确闭式解，理论优雅（利用高斯傅里叶变换仍是高斯的性质）。
    • alpha wave blending 是体渲染 alpha 混合的波光学对应，原生支持精确遮挡与平滑混合，摆脱了轮廓法的二值孔径掩膜与阈值调参。
    • 傅里叶域按频率并行 + 自定义 CUDA 核带来约 30 倍加速；输入仅需随手拍的少量照片，无需针对特定硬件预训练网络。
    • 兼有模拟与真机实验验证，并开源统一的 hsplat 基元 CGH 框架。
  • 局限：
    • 方法侧重把高斯编码为复值波前，对决定离焦行为的相位分布着墨较少，因此（除视差实验外）只保证在焦成像正确，离焦模糊不自然、eyebox 受限；随机相位全息是有前景的改进方向。
    • 尚未达到实时；精确版尤其慢。
    • 硬件 étendue 有限、SLM 衍射角小，导致视角相关效果目前只用到球谐的零阶近似。

延伸思考

这项工作把 3D 高斯从”给屏幕看”推进到”给全息显示看”，本质是给可微、显式的高斯基元找到了一个波光学下的解析成像模型，思路上与多边形 CGH、OIT 等经典图形学技巧一脉相承。后续最自然的问题是相位设计：把 GWS 与随机相位或可学习/梯度下降的相位编码器结合，有望同时改善离焦真实感、带宽利用率与 eyebox；再往前是引入其他 CGH 闭式解先验或神经网络以逼近实时，以及在扩展 étendue 的部分相干硬件上验证高阶球谐带来的更完整视角相关效果。对做神经渲染或计算显示的人来说，”任何有角谱闭式解的基元都能套用 Eq. 9”这一推广也提示了把该框架迁移到其他显式基元表示的可能性。