Large Étendue 3D Holographic Display with Content-adaptive Dynamic Fourier Modulation
Stanford University; NVIDIA; MIT
一句话总结
在多光源照明的全息近眼显示中，于傅里叶平面额外放置一块可动态刷新的振幅型 SLM，配合针对 4D 光场监督的随机梯度下降算法联合优化相位与振幅图案，从而在扩大 étendue（视场 × 眼动框乘积）的同时显著提升 3D 图像质量。
研究背景
全息近眼显示能在轻薄形态下呈现带自然视差的真实 3D 图像，是 VR/AR 的理想显示方案。但它的 étendue（视场角与眼动框面积之积）由 SLM 的像素数决定：一块 1080p 的 SLM 要么支持约 80° 的宽视场但眼动框不足 1 mm，要么反之，二者不可兼得。直接把 SLM 做到既大面积又几十纳米像素间距在现有工艺下不可行。
已有的 étendue 扩展方案各有硬伤：
- 静态高分辨率掩模（相位掩模）自由度不足，图像对比度低、有散斑；
- 瞳孔复制（波导/HOE）只是复制同一波前，无法在扩大的眼动框内呈现真实 3D 与视差；
- 光束扫描 / 分时单源点亮需要极高速 SLM，且高衍射级（HDO）会污染成像；
- 多光源同时点亮虽能形成”高 étendue 背光”，但频谱中出现多份平移、重叠的拷贝，若只用固定随机掩模（Jo et al. 2022）打散拷贝，因缺乏时间复用与内容自适应，质量仍受限。
本文的核心假设是：要同时获得大视场与大眼动框，需要足够的优化自由度；在没有超高分辨率 SLM 的前提下，只能靠多源/扫描照明，而其两大缺陷——HDO 与对称照明拷贝——可以用一块放在傅里叶平面、可编程的动态振幅调制器来解决。
方法
整体框架
系统是硬件与算法的协同设计：
- 硬件：多个互不相干的激光源从不同角度同时照明高速相位 SLM，构成”高 étendue 相干背光”；在相位 SLM 之后的傅里叶平面放置一块可动态刷新的振幅 SLM，与相位 SLM 同步，实现分时复用、内容自适应的频谱调制，用来同时去除 HDO 和多源产生的重影拷贝。
- 算法：以大基线目标光场为监督，用梯度下降联合优化一组分时复用的相位图案与对应的傅里叶振幅掩模，最终由人眼对多帧积分。
flowchart LR
A[多源激光阵列<br/>3x3 光纤输出] --> B[准直镜]
B --> C[相位 SLM<br/>高速相位调制]
C --> D[傅里叶变换镜]
D --> E[振幅 SLM<br/>傅里叶平面动态调制]
E --> F[目镜/中继]
F --> G[扩大的眼动框<br/>观察 9x9 光场视图]
关键设计一：多源 + 傅里叶振幅调制的成像模型
在单源菲涅尔全息的角谱传播模型基础上，引入沿方向 \(\mathbf{k}=(k_x,k_y,k_z)\) 传播的离轴准直照明，以及傅里叶平面上的可编程振幅掩模 \(P\)：
\[f^{(j)}(\phi, P, z) = \mathcal{F}^{-1}\{ U^{(j)}_{slm}(f_x,f_y;\phi)\cdot H(f_x,f_y;z)\cdot P(f_x,f_y)\}\]其中源 \(j\) 的 SLM 后频谱为 \(U^{(j)}_{slm}=\mathcal{F}\{e^{i\phi(x,y)}u^{(j)}_{src}(x,y)\,e^{i\mathbf{k}^{(j)}\cdot\mathbf{x}}\}\)。文中显式建模了 HDO，使其能精确刻画不同角度视图的贡献——这是多源照明下过去只对 2D 图像或 3D 焦栈做过、而未对 4D 光场做过的关键点。
关键设计二：étendue 扩展的定量关系
étendue 定义为 \(G = 4A\sin^2\theta\)，对 SLM 有 \(G_{SLM}=4L_xL_y\sin^2\theta_{SLM}=\lambda^2 N_x N_y\)，即正比于像素数。菲涅尔系统中视场与眼动框满足
\[\text{FoV}_x\cdot \text{FoV}_y\cdot w^2 \approx \lambda^2 N_x N_y = G_{SLM}\]说明视场与眼动框此消彼长。当用 \(\alpha\times\alpha\) 的离轴照明网格、且照明方向对准高衍射级角度时，1D 眼动框恰好扩大 \(\alpha\) 倍（\(w=\alpha g\lambda/p\)），2D étendue 扩大 \(\alpha^2\) 倍。
关键设计三：随机化的光场监督优化
目标是最小化重建光场与目标光场振幅的差异：
\[\min_{\{\phi^{(t)},P^{(t)}\}} \left\| s\sqrt{\tfrac{1}{T}\sum_{t=1}^{T}\sum_{j=1}^{J}\big|\text{H2LF}\,f^{(j)}(\phi^{(t)},P^{(t)},z)\big|^2} - lf_{target}\right\|\]由于时间复用、多源、显式 HDO 建模三重叠加，用短时傅里叶变换（STFT）重建整幅稠密光场的显存开销会爆炸。为此作者提出随机化版本：每次迭代只随机抽取一个视图 \(p\)，在傅里叶平面施加二值瞳孔掩模 \(M^{(p)}\) 只重建该视图后做一步梯度下降：
\[M^{(p)}(f_x,f_y)=\begin{cases}1, & (f_x-c_{x,p})^2+(f_y-c_{y,p})^2\le r_p^2\\0, & \text{otherwise}\end{cases}\]这样把整场重建拆解为单视图监督，显存可控。实现上使用 4-bit 高量化相位 SLM（考虑量化约束），81 个瞳孔（半径 2 mm，直径 4 mm）等间距铺满傅里叶平面，对应 \(9\times9\) 光场；多源照明角对准蓝光 ±1 级衍射角，使蓝光频谱拷贝恰好无缝拼接。
实验结果
在仿真中（\(800\times1280\) 相位 SLM，多源配置额外加 \(20\times20\) 傅里叶显示，重建 \(9\times9\) 光场，六个测试场景平均）与多种基线对比，指标为 PSNR/SSIM：
| 配置 | PSNR / SSIM |
|---|---|
| I. 单源 + 傅里叶滤波（9×9 光场） | 16.60 / 0.23 |
| II. 单源 + 相位掩模 | 14.61 / 0.15 |
| III. 多源 | 13.35 / 0.24 |
| IV. 多源 + 固定随机傅里叶掩模 | 18.63 / 0.26 |
| VI. 扫描照明（9 帧） | 20.02 / 0.43 |
| VII. 扫描照明 + 移动傅里叶滤波（9 帧） | 23.95 / 0.51 |
| V. 本文（1 帧） | 21.05 / 0.39 |
| V. 本文（6 帧） | 24.65 / 0.66 |
| V. 本文（9 帧） | 25.17 / 0.71 |
| V*. 本文 + 激光振幅可控（9 帧） | 25.66 / 0.74 |
本文方法在单帧时即优于其他单帧基线，用 6 帧就超过需要 9 帧的扫描滤波基线（VII）。带激光振幅控制的广义配置 V* 质量最高，但相对 V 提升不足 0.5 dB 且系统复杂度大增，故硬件实现选用 V。搭建的台式原型采用级联 1:4 光纤分束器组成 3×3 光纤源阵列（源间距 8.17 mm）、TI DLP6750Q1EVM 相位 SLM 与 1080p LCoS 振幅显示，最终对角视场 7.78°、眼动框 8.53 mm × 8.53 mm；实拍中本文方法（6 帧）也取得最高质量（13.83→14.43 / 0.40）并呈现最明显视差。
亮点与局限
亮点：
- 硬件-算法协同：把”傅里叶平面的动态振幅 SLM”引入多源全息，同时解决 HDO 与对称拷贝两个老问题，是相较 Jo et al.（固定随机掩模）与 Kuo et al. 多源全息（间距小、étendue 受限）的关键区别。
- 首次对多源照明下的 4D 光场显式建模 HDO，并用内容自适应的分时傅里叶调制来重建带视差的光场。
- 随机化单视图监督大幅降低显存，让稠密光场的联合优化变得可行；仅需 20×20 的低分辨率傅里叶显示即可获得可观增益。
局限：
- 台式原型体积庞大，多源用的是笨重光纤分束器；未来需借助纳米光子相控阵、波导折叠光路来小型化。
- 帧率受振幅显示限制（原生 240 Hz），色序 6 帧复用时仅约 13.33 Hz，需要 >720 Hz 的先进 LCoS 提升。
- 不支持实时光场全息合成；也未对原型标定神经网络参数化的波传播模型（该做法已被证明能进一步提升实拍质量）。
延伸思考
这项工作把”傅里叶平面”从传统的被动滤波角色升级为可编程、可分时的主动调制自由度，思路上与端到端可微光学设计一脉相承：与其单纯堆 SLM 像素，不如在光路里增加可控自由度并交给优化算法统筹。随机化单视图监督也提示了一个通用工程范式——当完整可微前向模型显存不可承受时，用采样近似把大问题拆成可微的小批次。后续若能把神经网络式的实时全息合成、标定式波传播模型，以及波导折叠的小型化结合进来，多源 + 动态傅里叶调制有望成为通向实用大眼动框全息 VR 的一条可行路径。