Neural Gaussian Scale-Space Fields

一句话总结

该工作提出一种轻量、自监督的方法，让神经场（neural field）直接从原始信号学习完全连续、各向异性的高斯尺度空间：通过「调制傅里叶特征 + Lipschitz 约束 MLP」的组合，训练时无需任何手工滤波，推理时仅需一次前向传播即可用任意连续高斯协方差矩阵滤波。

问题背景

高斯尺度空间（Gaussian scale space）是信号表示与处理的基石，广泛用于滤波、多尺度分析、抗锯齿等场景。它把一个信号与一族高斯核卷积，得到一系列逐渐平滑（细节被逐级抑制）的版本；一旦构造完成，滤波就退化为在尺度空间中查询。

但获取尺度空间代价高昂，对连续表示（如神经场）尤其棘手：

• 直接执行大尺度、各向异性的高斯卷积极其低效，而神经场通常只支持逐点求值。
• 用蒙特卡洛估计做高斯加权聚合需要在「高计算量」与「高方差」之间权衡。
• 已有的神经场滤波方案要么只支持固定的小尺度核并需反复自动微分（Xu et al. 2022），要么只支持轴对齐核、每个滤波位置需多次前向（NFC, Nsampi et al. 2023）。
• 一些方法能直接学连续的各向同性尺度空间（Mip-NeRF 系列），但需要跨尺度的密集监督（如同一物体在不同距离下的图像）。
• 具有强架构先验的网络（BACON、MINER、PNF）能把信号分解成不同频带，但只支持离散、各向同性的尺度集合。

本文目标：用一个通用神经场，学习适用于任意信号/模态的完整各向异性高斯尺度空间，在信号坐标和任意高斯协方差矩阵两个维度上都连续，且训练是自监督的（不需要任何滤波后的监督信号）。

核心方法

论文的关键洞察是一句「简单但影响深远」的经验观察：

如果表示信号的神经网络是 Lipschitz 约束的，那么对高频傅里叶特征做精心的衰减（dampening），就能产生高质量的低通滤波信号。

作者用四种策略的对比来说明为什么必须两者结合（对应论文 Fig. 3）：

• (a) 基础设置（傅里叶特征 + 普通 MLP）：能完美拟合原信号，但无法产生平滑。
• (b) 只做频率调制（衰减高频特征）：拟合质量下降，但方式不可控——MLP 会通过制造高梯度来「补偿」缺失的输入频率，产生不连贯的高频毛刺。
• (c) 只做 Lipschitz 约束（不调制特征）：确实能得到更平滑的版本，但 Lipschitz 界 \(c\) 必须在训练时固定并「烘焙」进网络，训练后无法调节平滑程度。
• (d) 本文方法（频率调制 + Lipschitz 约束）：衰减高频特征后，Lipschitz 约束的 MLP 无法再靠制造大梯度去补偿缺失频率，于是被迫学出一个在「频率约束 + 梯度约束」下最贴近原信号的函数。这种「参数化的梯度限制」带来了可控的平滑，且经验上惊人地逼近真正的高斯滤波。

整个流程分为四步：设计架构（含用于滤波的傅里叶特征 + 鲁棒 Lipschitz 约束）→ 用原始信号自监督训练 → 训练后做一次轻量的方差标定，把调制参数映射到真实高斯方差。

技术细节

架构

神经场定义为在位置编码里额外引入一个伪协方差矩阵 \(\hat{\Sigma}\)：

\[F(\mathbf{x}, \hat{\Sigma}) = \Psi_\theta\big(\gamma(\mathbf{x}, \hat{\Sigma})\big)\]

由于 \(\mathbf{x}\) 与 \(\hat{\Sigma}\) 是彼此独立的输入，该形式天然支持空间变化滤波（每个位置用不同的核）。

用于滤波的傅里叶特征。 频率向量 \(\mathbf{a}_i\) 的分布至关重要：轴对齐频率无法表达各向异性；从正态分布中不相关地采样又会产生聚簇与空洞，损害滤波质量。作者改用分层采样：从 Sobol 低差异序列出发，映射到超球，再径向扭曲使径向平均采样密度服从零均值、方差 \(\sigma_a^2\) 的高斯分布，从而把采样预算向低频倾斜。

各向异性的调制通过一个半正定伪协方差矩阵 \(\hat{\Sigma}\) 给出各分量的衰减因子：

\[\lambda_i(\hat{\Sigma}) = \exp\left(-\sqrt{\mathbf{a}_i^{T}\hat{\Sigma}\,\mathbf{a}_i}\right)\]

注意这里 \(\hat{\Sigma}\) 不取逆（与式 1 中的 \(\Sigma\) 相反），这是原始域与傅里叶域协方差的倒数关系所致：要在水平方向平滑更强，就要在傅里叶域更强地衰减水平频率。

鲁棒 Lipschitz 约束。 选用 \(p=2\) 范数，因为只有各向同性的 2-范数能保证位置编码后等距坐标仍等距，从而使某个固定 \(c\) 在整个域上具有一致的平滑效果。取 Lipschitz 界 \(c=1\)，即约束每个权重矩阵的谱范数不超过 1。

权重矩阵用 SVD 参数化 \(W_k = U_k S_k V_k^{T}\)：对角矩阵 \(S_k\) 的奇异值用 sigmoid 约束到 \([0,1]\)；正交矩阵 \(U_k\)、\(V_k\) 则通过斜对称矩阵的矩阵指数得到（斜对称矩阵的指数一定是正交阵）：

\[U_k = \exp(A_{U,k}), \qquad V_k = \exp(A_{V,k}), \quad A^{T} = -A\]

这样所有参数都能无约束地自由优化，同时始终保证 \(c \le 1\)，数值上比 Householder 反射或谱归一化更稳定。

对多输出通道（\(d_o > 1\)，如 RGB），网络会通过「让各通道输出趋同」来投机地压低式 3 左侧的范数，导致颜色发灰。解决办法很简单：最后一层 \(W_l\) 不用 SVD 参数化，改为逐行 \(\ell_2\) 归一化，即可消除跨通道污染。

训练

损失就是最朴素的重建误差，只需随机采样坐标 \(\mathbf{x}\) 和伪协方差 \(\hat{\Sigma}\)：

\[\mathcal{L} = \mathbb{E}_{\mathbf{x}, \hat{\Sigma}}\left[\big\lVert F(\mathbf{x}, \hat{\Sigma}) - f(\mathbf{x}) \big\rVert_2^2\right]\]

关键在于监督目标始终是原始未滤波信号 \(f(\mathbf{x})\)，完全不需要 \(f_\Sigma\)，彻底避免了昂贵的手工卷积。\(\hat{\Sigma}\) 通过特征分解 \(\hat{\Sigma} = Q\Lambda Q^{T}\) 采样：均匀采样正交特征向量 \(Q\)，对数均匀采样非负特征值 \(\Lambda\)。优化器用默认参数的 Adam。

方差标定

训练后，\(\hat{\Sigma}\) 控制平滑程度，但并不保证 \(\hat{\Sigma}\) 对应的滤波结果协方差就等于 \(\Sigma = \hat{\Sigma}\)，而且这个关系还依赖信号本身（低幅值信号 Lipschitz 界更低，需要更激进的约束才能达到同样平滑）。

于是作者引入一个信号相关的标定函数 \(h(\Sigma) = \hat{\Sigma}\)，在训练之后注入管线：

\[F(\mathbf{x}, \Sigma) = \Psi_\theta\big(\gamma(\mathbf{x}, h(\Sigma))\big)\]

经验发现差异只体现在各向同性尺度上（各向异性被如实捕捉），因此标定只需考虑 \(\Sigma = \sigma^2 I\)、\(\hat{\Sigma} = \hat{\sigma}^2 I\)。做法：在 64 个导引坐标上，用 2000 个样本对训练好的场（不做特征衰减）做蒙特卡洛高斯平滑作为真值，再扫描 256 个对数均匀的伪方差去匹配，找到每个方差 \(\sigma_j^2\) 对应的最佳伪方差。二者呈现强线性关系，故取 \(\hat{\sigma}^2 = h(\sigma^2) = \mu\sigma^2\)，并按对数间隔回归比例系数：

\[\mu = \left(\prod_{j=1}^{n_{\sigma^2}} \frac{\hat{\sigma}^2_{k_j}}{\sigma_j^2}\right)^{\frac{1}{n_{\sigma^2}}}\]

推广到完整协方差即 \(\hat{\Sigma} = h(\Sigma) = \mu\Sigma\)。整个标定约需 200 万次前向、瞬间完成，相对训练开销可忽略。

实验结果

作者在图像和有向距离场（SDF）两大模态上评测，用收敛的蒙特卡洛卷积作为真值，对比 BACON、MINER、PNF、INSP、NFC 等基线。核心指标是空间维度（x-cont.）与核维度（\(\sigma^2\)/\(\Sigma\)-cont.）是否连续。

图像（各向同性滤波，Adobe FiveK，2048×2048）。 本方法在全部核尺寸上都很有竞争力。NFC 在较大核上 PSNR 略高，但会引入严重的边界伪影（评测时被特意裁除）。

图像（各向异性滤波）。 只有 PNF、NFC、本方法支持。本方法全面胜出：

方法	x-cont.	Σ-cont.	PSNR↑	LPIPS↓	SSIM↑
PNF	✓	✕	24.15	0.571	0.704
NFC	✓	✕	30.31	0.094	0.857
Ours	✓	✓	34.82	0.069	0.940

SDF。 各向同性时结果基本不分伯仲；各向异性时唯一的对手 NFC 被大幅超越（MSE 2.8e-3 vs 7.1e-2，IoU 0.42 vs 0.08）。

效率。 单张 A40 上，本方法训练时间与 BACON/PNF/INSP 相当或更快，且滤波只需单次前向（NFC 每个输出坐标要查询上百次）。MINER 更快但需要预滤波监督；朴素 MLP 更快但根本产生不了尺度空间。

应用。 三个应用展示了方法的通用性：

• 纹理抗锯齿：在 uv 空间学纹理尺度空间，按相机视角求最优各向异性核做预滤波，消除渲染走样。
• 4D 光台数据：在「2D 像素 + 2D 光照方向」的乘积空间滤波，从硬阴影平滑过渡到软阴影。
• 多尺度优化：把优化能量地形学成尺度空间，做由粗到细的梯度下降。在 2D Ackley 函数上，99% 的随机初始化点收敛到全局最优（单尺度基线仅 5%）。

消融。 完整方法优于所有替代配置：去掉 Sobol、去掉频率扭曲都会下降；「训练后才衰减频率」（Freq. Scaling Only）、去掉 Lipschitz、放松到 10-Lipschitz、改用谱归一化、改用 \(\ell_1\) 损失均明显变差，验证了「频率调制 + 强 Lipschitz 约束」缺一不可。

贡献与局限

贡献：

• 提出在通用神经场中学习完全连续、各向异性高斯尺度空间的新范式。
• 给出自监督训练方法——无需对训练数据做任何滤波即可学到整个尺度空间。
• 在图像、几何、光台数据、纹理抗锯齿、多尺度优化等一系列模态与任务上做了细致评测。

局限与讨论：

• 缺乏理论解释：为什么「衰减傅里叶特征 + Lipschitz 网络」能逼近高斯滤波，目前只有经验观察，严谨的理论证明留待将来。
• 谐波伪影：由于是通过约束斜率而非直接压制输出幅值来平滑，对简单信号（如正弦波）会在频谱中引入谐波，波峰偏尖（趋近锯齿波）；不过在复杂信号上几乎不可见。
• 带宽受限风险：Lipschitz 界把网络「不爱学高频」的归纳偏置变成硬约束，因此必须包含足够高的编码频率，否则未滤波重建会被无意地带限；增大网络宽度是有效的缓解手段。
• 难以适配 NeRF：辐射场的体密度动态范围极大，对 Lipschitz 约束网络的拟合构成挑战，初步实验表明仍需更多工作。
• 许多基线只产生离散滤波集合再线性组合；本方法虽也组合有限个傅里叶频率，但由高度非线性的 MLP 组合，能消除离散化痕迹。

延伸思考

这项工作最迷人的地方在于用两个「各自已知、但从未系统组合」的技术（傅里叶特征调制 + Lipschitz 约束）拼出了一个近乎免费的连续尺度空间——训练甚至不需要见过任何滤波结果。它把「滤波」这一显式的信号处理操作，转化为网络架构层面的归纳偏置。作者也指出了最有价值的两条方向：一是补上理论解释（为何能逼近高斯核），二是把它用作逆问题（逆渲染、表面重建）中天然的由粗到细正则，这类 ill-posed 问题往往正需要一个可控的多尺度先验。将其稳健地嫁接到 NeRF 等高动态范围模态上，可能是通往「廉价抗锯齿辐射场」的一块拼图。