Statistical Gradient Filtering for Geometry Optimization Under Limited Observations

一句话总结

把一个形状集合的统计先验（PCA 特征空间）做成一个”梯度滤波器”，在几何优化的每一步过滤梯度，使观测不足时优化路径朝着”这个领域里形状通常怎么变”的方向走，同时不限制解空间、也不改动原始目标函数。

研究背景

• 领域现状：几何优化（把模板网格变形到目标形状）在单视角逆渲染、部分扫描配准等任务里非常常见。当观测有限时，遮挡区域拿不到梯度，优化容易漂向不自然的形状。主流做法是用网格拉普拉斯算子把稀疏梯度平滑扩散到邻居顶点（Nicolet et al. 2021 的 “large steps” 是代表作），以此稳定收敛、提升网格质量。
• 核心痛点：拉普拉斯滤波只利用单个形状内部的空间结构，本质是”空间平滑”。它对未观测区域没有任何”这类形状应该怎么长”的先验知识，只能靠平滑硬推，指导性很弱。另一条路是用统计模型（3DMM、FLAME、SMPL 这类 PCA 模型）当先验，但传统用法要么是参数化方法——只在 PCA 线性子空间里优化，牺牲表达力、无法恢复子空间外的新特征；要么是正则化方法——保留完整解空间但往目标函数里加惩罚项，既改变了原目标、又要小心调参，而且早期几何还贴近均值时正则很弱，噪声梯度会先把几何搞坏，正则只能事后补救、往往陷入不好的局部极小。
• 本文 idea：提出统计梯度滤波（statistical gradient filtering）。不限制解空间、不改目标函数，而是在每次迭代把梯度投影/调制到 PCA 特征空间上，只让”与学到的形状变化一致”的梯度分量通过。相当于把 Nicolet et al. 的框架从”空间频率域”搬到”统计形状域”：既保留了跳出线性子空间去发现新形状的自由度，又用统计相关性给未观测区域提供了合理指导。

方法

整体框架：给定一个形状集合的 PCA 模型（均值形状 \(\bar{x}\) 与前 \(k\) 个主成分 \(U_k\)），在标准梯度下降的每一步，用一个由”近似 Hessian 求逆”推出的滤波矩阵 \(P\) 去乘原始梯度，再更新几何。整个滤波最终被改写成一次前向的矩阵乘法，可以无缝塞进自动微分框架里。

flowchart LR
  A["形状集合 → PCA 均值与主成分"] --> B["构造统计梯度滤波 P"]
  C["原始目标 Φ 的稀疏梯度"] --> D["用 P 过滤梯度"]
  B --> D
  D --> E["更新位移 δ"]
  E --> F["变形网格 x = 均值 + δ"]
  F --> C

关键设计分三点：

1. 从近似 Hessian 推出滤波器。作者从 PCA 正则化目标的 Hessian 出发：\(\dfrac{\partial^2 \Phi_{\text{reg}}}{\partial x^2} = \dfrac{\partial^2 \Phi}{\partial x^2} + \beta (I - U_k U_k^T)\)。原目标的二阶项昂贵且难算，直接用单位阵 \(I\) 近似，只保留统计项，得到 \(H_{\text{approx}} = (1+\beta) I - \beta U_k U_k^T\)。利用投影算子的幂等性 \((U_k U_k^T)^2 = U_k U_k^T\)，可以解析求逆，得到统计梯度滤波 \(P_{\text{stat}} = \dfrac{\beta}{1+\beta} U_k U_k^T + \dfrac{1}{1+\beta} I\)。直观上：\(\beta \to \infty\) 时滤波退化为纯投影 \(U_k U_k^T\)（把梯度完全压进统计子空间，等价于参数化方法）；\(\beta \to 0\) 时退化为 \(I\)（普通梯度下降）。\(\beta\) 就是”统计指导 vs 灵活性”的旋钮。

2. 特征模态再平衡（eigenmode rebalancing）。基础版把子空间内所有主成分一视同仁，但方差大的模态对应更主导、更可靠的形变模式，应当被更强地强调。于是把滤波改成 \(P_{\text{balanced}} = \dfrac{\beta}{1+\beta} U_k \Sigma_\epsilon^2 U_k^T + \dfrac{1}{1+\beta} I\)，其中 \(\Sigma_\epsilon^2 = \text{diag}(\sigma_1^2 + \epsilon, \ldots, \sigma_k^2 + \epsilon)\) 按各模态方差加权。这与拉普拉斯滤波在频域按特征值加权是同构的，只不过这里发生在统计形状域；\(\epsilon > 0\)（实验固定为 \(0.3\)）保证低方差模态不被过度压制、保留细微形变的表达力。

3. 统计重参数化，接入自动微分。借鉴扩散重参数化，把滤波更新写成一个辅助优化问题的解：\(\arg\min_{\delta} \dfrac{1}{2} \lVert \delta - u \rVert^2 + \dfrac{\beta}{2} \lVert (I - U_k U_k^T)\delta \rVert^2\)，解出 \(\delta = P_{\text{balanced}} u\)。对无约束变量 \(u\) 做梯度下降，链式法则会让更新自然变成 \(\delta \leftarrow \delta - \eta P_{\text{balanced}}^2 \dfrac{\partial \Phi}{\partial \delta}\)——也就是隐式地把”平方后的统计滤波”作用到梯度上。工程上只需在前向写一行 x = x_mean + P_balanced @ u 再 loss.backward()，反向传播就自动完成了梯度过滤，改造成本极低。

实验结果

主实验放在 3D 人脸重建上，采用 FLAME 模型（300 个形状 + 100 个表情主成分）作为统计基。对比三类基线：PCA 参数化、PCA 正则化、拉普拉斯梯度滤波（Nicolet et al. 2021 / Jung et al. 2023）。为纯粹评估各方法本身，实验里都不加 landmark loss、拉普拉斯平滑等额外监督。

单视角法线图逆渲染任务上的重建精度（对同一批人脸网格渲染合成法线图）：

方法	平均角度误差(度)↓	Chamfer 距离(mm)↓
PCA parametric	11.347	2.109
PCA regularization	9.398	2.663
Nicolet et al. 2021	6.438	1.924
Statistical (ours)	3.477	1.404

本文方法在两个指标上都明显领先：参数化受限于子空间、无法贴合目标；正则化不稳定；拉普拉斯滤波缺乏遮挡区先验。统计滤波则能过滤掉像素对应中的错误匹配带来的”伪梯度”，在可见区做出更精细的形变、在遮挡区靠学到的相关性合理外推。

其余实验用文字概括：在部分扫描的非刚性配准上，20 个头部网格 × 29 表情 × 5 视角共 2900 个测试样例，本文平均 Chamfer 距离 0.832mm，优于 Jung et al. 的 0.957mm 与两种 PCA 基线；在真实照片（用 Pixel3DMM 提取法线）上也比直接回归 PCA 系数的神经网络方法和子空间内拟合的优化方法更能捕捉个体特异几何。消融显示：去掉特征再平衡会因低方差模态传播噪声而产生伪影；方法对 \(\beta\) 取值鲁棒，只要足够大结果就稳定；此外还能天然处理拓扑不连通的部件——只优化皮肤区时眼球等分离部件也能通过学到的相关性自动调整，而拉普拉斯法因依赖网格连通性无法把梯度传过去。

亮点与局限

• 亮点：
  • 提出了一个新范式——把统计先验加到”优化路径”上，而不是像参数化那样限制解空间、也不像正则化那样改目标函数，两全其美。
  • 从近似 Hessian 出发有清晰的数学推导，利用投影幂等性得到解析逆；单一超参数 \(\beta\) 且对其取值鲁棒，几乎不用调参。
  • 通过重参数化只需前向一次矩阵乘法即可接入自动微分，落地成本极低，可直接嫁接到现有可微渲染/优化流程。
  • 天然支持拓扑不连通部件（如眼球随皮肤联动），这是拉普拉斯类方法做不到的。
• 局限：
  • 效果强依赖底层统计先验的质量。PCA 模型只捕捉主导形变，缺乏皱纹等高频细节，所以本文对精细尺度的形变指导有限。
  • 主要验证集中在有成熟 PCA 模型的领域（人脸，正文；人体、纹理图在补充材料），对没有现成 PCA 基的形状域适用性需另行构建统计模型。

延伸思考

这项工作可以看作 Nicolet et al. “large steps” 在统计域的自然延伸：前者用拉普拉斯把稀疏梯度做空间扩散，本文用 PCA 特征空间把梯度做统计约束，两者甚至可以叠加（空间平滑 + 统计指导）。一个值得追问的方向是：PCA 只能表达线性形变模式，若把统计先验换成非线性生成模型（VAE / 扩散模型 / 神经形状空间）的雅可比，能否在保留”只滤梯度不锁解空间”这一优点的同时补上高频细节？另外，方法本质是一种数据驱动的预条件子，理论上可推广到人脸之外的任何有形状集合的几何优化任务（人体、器官、机械件、服装），关键在于能否为目标域构造出足够表达力的统计基。