Spin-Weighted Spherical Harmonics for Polarized Light Transport

问题背景

偏振（polarization）是人眼无法感知、却蕴含物体形状与材质物理特性的丰富信息，近年被广泛用于计算机图形学与视觉的几何建模、外观采集与基于物理的偏振渲染。偏振渲染与只计算光强的传统渲染不同，它需要模拟一个四维的斯托克斯矢量（Stokes vector） \(\mathbf{s} = [s_0, s_1, s_2, s_3]^T\)，分别表示总光强、水平/垂直线偏振、对角/反对角线偏振和圆偏振。这带来几个根本性的额外难度：

• 二倍旋转特性：斯托克斯矢量描述光波的正弦振荡，当坐标系旋转 \(\vartheta\) 时，其线偏振分量 \(s_1, s_2\) 以 两倍速率（\(2\vartheta\)）变化，既不是标量也不是普通矢量的坐标。
• 局部坐标依赖：斯托克斯矢量定义在光线的局部坐标系里，偏振反射函数必须用一个 \(4\times4\) 的穆勒矩阵（Mueller matrix）描述，比标量反射多出 16 倍的计算与存储量，还需要额外的坐标转换。
• 频域分析缺失：传统的环境光频域分析（球谐 SH）与用于高效渲染镜面反射的球面卷积，都只针对旋转下不变的标量场设计。对于斯托克斯矢量场，SH 无法处理其连续性与旋转不变性，因而偏振渲染一直缺乏频域方法，也无法做到实时。

论文用毛球定理（Hairy Ball Theorem）点明了核心障碍：若想用标量 SH 表示斯托克斯矢量场，就必须把它拆成四个标量场加一个”帧场”（为球面每点分配切平面局部坐标）。而毛球定理保证球面上不可能处处连续地分配单位切矢量方向，必然存在奇异点。因此这种朴素拆分方式必然引入奇异性，并破坏旋转不变性——旋转基函数只会把奇异点挪到球面其他位置。

核心方法

论文的思路是引入物理学中的自旋权球谐（spin-weighted spherical harmonics, SWSH）理论 [Goldberg et al. 1967; Newman and Penrose 1966]（最初用于处理引力辐射的对称性，也用于宇宙微波背景偏振分析），并据此构建针对图形学的偏振球谐（polarized spherical harmonics, PSH）。

从自旋权理解斯托克斯分量

SWSH \(_sY_{lm}\) 是球面上自旋-\(s\) 函数的正交基，其连续性条件是绕一圈旋转 \(s\) 次而非固定不变：

• 自旋-0 SH 就是传统标量 SH（\(_0Y_{lm} = Y_{lm}\)），表示旋转下不变的标量场，对应总光强 \(s_0\) 和圆偏振 \(s_3\)；
• 自旋-2 SH（\(_2Y_{lm}\)）表示”每点关联多个方向”的量，恰好镜像了线偏振分量 \(s_1, s_2\) 的二倍旋转行为。

关键在于：SWSH 把基函数的定义域从球面扩展到帧空间（frame space）并施加自旋约束，从而在保持全局连续、无奇异点的前提下表示斯托克斯矢量场，绕开了朴素拆分导致的奇异性问题。自旋-2 SH 可由标量 SH 直接构造：

\[_2Y_{lm}(\theta,\phi) = \sqrt{\frac{(l-2)!}{(l+2)!}}\left[\alpha_{lm}(\theta)\,Y_{lm}(\theta,\phi) + \beta_{lm}(\theta)\,Y_{l-1,m}(\theta,\phi)\right]\]

它在北/南极只有 \(m=-2\) 或 \(m=2\) 时非零（对比标量 SH 是 \(m=0\)），并且沿固定 \(\theta\) 的圆走一圈时，几何斯托克斯矢量旋转 \(m/2\) 次、数值分量旋转 \(m\) 次。

偏振球谐（PSH）

PSH 把自旋-0 SH（用于 \(s_0, s_3\)）与自旋-2 SH（用于 \(s_1, s_2\)）组合成一组正交基，用附加索引 \(p=0,1,2,3\) 标记偏振分量，从而在实系数下张成完整的斯托克斯矢量场空间：

\[\overleftrightarrow{f}(\hat{\omega}) = \sum_{(l,m,p)\in I_{PSH}} \mathbf{f}_{lmp}\,\overleftrightarrow{Y}_{lmp}\]

采用实系数（而非复系数）formulation 是有意为之的关键设计：复系数形式在表示穆勒变换时会丢失一半信息（只保留了后文的”同构部分”），而实系数形式则完整保留，且便于与真实世界的实值物理量保持一致。

论文证明了 PSH 的旋转不变性：旋转的系数矩阵是分块对角的（只在相同阶 \(l\) 内耦合），并且可以直接复用标量 SH 已有的维格纳 D 函数（Wigner D-functions）来计算，兼具理论保证与工程可复用性。

技术细节

穆勒变换的频域系数矩阵：把 pBRDF 或辐射传输算子看作作用在斯托克斯矢量场上的线性算子（穆勒变换场 \(\overleftrightarrow{P}\)），可将其投影为 PSH 系数矩阵，渲染方程就退化为频域中的矩阵-矢量乘法。由于 \(s_0, s_3\) 是自旋-0、\(s_1, s_2\) 是自旋-2，穆勒矩阵可按自旋权拆成 9 个子块（spin 0-to-0 / 2-to-0 / 0-to-2 / 2-to-2），且角域中的每个子块只影响频域系数矩阵的对应子块，从而降低计算与存储。

复数对分离（complex pair separation）：这是推导卷积定理的第二个核心技术。spin 2-to-2 块可进一步分解为同构部分（isomorphic） \(\tilde{m}_{iso}\) 与共轭部分（conjugation） \(\tilde{m}_{conj}\) 两个复数：

\[C_{iso}(\mathbf{M}) = \frac{M_{11}+M_{22}}{2} + \frac{M_{21}-M_{12}}{2}i, \qquad C_{conj}(\mathbf{M}) = \frac{M_{11}-M_{22}}{2} + \frac{M_{21}+M_{12}}{2}i\]

直观上，同构部分保持输入斯托克斯矢量的自旋方向，共轭部分则反转。这一分离把非交换的矩阵乘法转化为可交换的复数乘法，是证明偏振球面卷积定理的关键。

偏振球面卷积定理：论文首次为斯托克斯矢量场定义了球面卷积——它被证明等价于斯托克斯矢量场上的旋转等变线性算子，卷积核是一个只依赖天顶角 \(\theta\) 的穆勒矩阵 \(\mathbf{k}(\theta)\)（16 个自由度，比已有工作的 1 或 6 个自由度更一般）。卷积在 PSH 频域中几乎化为逐元素乘积：

\[\tilde{f}'_{lm\mathrm{p}} = \sqrt{\frac{4\pi}{2l+1}}\left(\sum_{p_i=0,3}\sum_{m'\in\{\pm m\}} W^{0\to2}_{mm'}\,\tilde{k}_{l,\mathrm{p},p_i}\,\mathbf{f}_{lm'p_i} + \tilde{k}_{l,iso}\tilde{f}_{lm\mathrm{p}} + (-1)^m\tilde{k}_{l,conj}\tilde{f}^*_{l,-m\mathrm{p}}\right)\]

对 \(l, m\) 索引它近似逐元素乘，对 \(p\) 索引则类似 \(4\times4\) 矩阵-矢量乘。数值实验表明频域卷积远快于角域（例如 0.0085s vs 20.5s），且两者结果一致。

带自阴影的辐射传输：通过 SWSH 的三重积（triple product），把每个顶点的可见性函数（先投影为标量 SH 系数）展开为辐射传输矩阵。spin 0-to-0 子块用传统三标量 SH 三重积，spin 2-to-2 子块用”一个自旋-0 加两个自旋-2”的三重积，其余子块为零。

实验结果

论文基于以上理论实现了预计算偏振辐射传输（Precomputed Polarized Radiance Transfer, PPRT），据称是首个在偏振环境光照下的实时偏振渲染方法。流水线分预计算与运行时两部分，采用 \(l_{low}=4\)、\(l_{high}=9\) 的低-高频分离策略：低频部分用 \(O(l^4)\) 的完整辐射传输矩阵，高频部分用高效的卷积近似。pBRDF 采用 Baek et al. [2020] 的数据集，环境贴图由 Mitsuba 3 生成。

• 旋转不变性验证：数值上，标量 SH（配 \(\theta\phi\) 帧场）作用于斯托克斯矢量的旋转系数矩阵始终不是分块对角（不满足旋转不变性），而自旋-2 SH 的系数矩阵分块对角，且数值与标量光强情形一致。偏振环境贴图重建实验同样显示朴素方法结果不一致、自旋-2 SH 结果完全一致。
• 精度验证：与物理偏振光线追踪器 Mitsuba 3 对比，各斯托克斯分量的 RMSE 随截断频率 \(l_{max}\) 增大而趋近于零。
• 实时性能（Intel i9-12900K + RTX 4090，\(1024\times1024\)）：完整流水线达到 102–475 fps。消融实验显示：仅低阶无阴影传输最快；加入阴影后可在 \(s_0\) 与 \(s_1, s_2\) 图像中呈现柔和阴影；加入高阶卷积近似后镜面外观增强。另一组实验中，仅 \(l\le4\) 为 480 fps，\(l\le5\) 因四次复杂度骤降到 210 fps，而 \(l\le4\) 完整矩阵 + \(5\le l\le9\) 卷积近似达到 308 fps 且外观更丰富——体现了卷积近似在高频上的效率优势。
• 物理有效性投影：可将渲染结果投影到斯托克斯矢量的物理有效范围 \(s_0 \ge \sqrt{s_1^2+s_2^2+s_3^2}\)，几乎不增加渲染时间，DoP 与 AoLP 得以保持。

贡献与局限

主要贡献：

1. 首次把 SWSH 引入渲染管线以描述完整斯托克斯矢量与穆勒变换，提出偏振球谐（PSH）这一针对斯托克斯矢量场的旋转不变正交基，从根本上解决帧场奇异性问题；
2. 提出 pBRDF 与辐射传输的频域系数矩阵表述，并借助自旋权的 9 子块拆分与复数对分离降低计算复杂度；
3. 首次定义斯托克斯矢量场的球面卷积（等价于旋转等变线性算子，16 自由度核），并证明其 PSH 频域卷积定理（近似逐元素乘）；
4. 实现首个偏振环境光照 + 软阴影下的实时偏振渲染方法 PPRT，并给出与 Mitsuba 3 的精度验证。

局限与未来工作：

1. 物理约束难以频域表达：斯托克斯矢量的有效性约束是非线性不等式，而频域方法做线性分解，无法从根本消除该来源的无效性（只能后处理投影）；SH/PSH 与 \(L^2\) 范数相关，而能量守恒与 \(L^1\) 范数相关，pBRDF 的能量守恒与互易性的 PSH 表述留待未来。
2. 振铃与负值：与标量 SH 一样存在负值与振铃伪影，将去振铃技术推广到 PSH 是有趣方向。
3. 圆偏振：渲染结果省略了 \(s_3\)（其处理方式与 \(s_0\) 类似）。
4. 可扩展方向：多边形光源的解析 PSH 系数、基于 FFT 的快速三重积、体渲染中偏振辐射传输方程的解析解、偏振球面 CNN、以及把 PSH 推广到小波/球面高斯等非谐波基，都是潜在的后续工作。