Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail

一句话总结

LoD-NeuS 用多尺度三平面编码替换 NeuS 的频率位置编码，并在圆锥视锥内做多重高斯卷积特征化来近似锥形采样，从多视角图像中重建出带连续细节层级、抗锯齿的高保真隐式表面。

研究背景

• 领域现状：以 NeuS 为代表的神经隐式表面方法用符号距离函数（SDF）替换 NeRF 的软密度来显式建模物体表面，能表达任意拓扑并得到比原始 NeRF 更好的几何重建。
• 核心痛点：这类方法普遍依赖频率位置编码，缺乏局部性、无法自适应地捕捉不同区域的细节层级（LoD），高频几何细节欠采样导致重建过平滑；同时单条光线采样忽略了像素的尺寸与形状，在新视角渲染时产生锯齿。显式体素表示（mipmap、八叉树）虽有成熟的多尺度预滤波抗锯齿手段，但难以与隐式表示的连续 LoD 结合。
• 本文 idea：把显式体素抗锯齿思路引入 NeuS，构建一个多尺度三平面特征体，通过可微的锥形采样与体渲染来优化 SDF，从而在保留隐式表示优势的同时实现连续 LoD 和抗锯齿细节恢复。

方法

整体框架：LoD-NeuS 用一组不同分辨率的三平面替代频率位置编码来存储可学习的多尺度特征；渲染时把每条光线视为一个圆锥、切成一系列圆锥视锥，在视锥内通过”多重高斯卷积特征化 + 锥形离散采样加权融合”聚合出连续的 LoD 特征，再送入浅层 MLP 预测 SDF 与颜色，经体渲染得到像素色并用光度损失优化；此外针对薄物体用误差引导采样细化 SDF 生长。

flowchart LR
  A["多视角图像"] --> B["圆锥视锥采样"]
  B --> C["多尺度三平面编码"]
  C --> D["多重高斯卷积特征化"]
  D --> E["按距离加权融合 LoD 特征 Z(x)"]
  E --> F["浅层 MLP 预测 SDF 与颜色"]
  F --> G["体渲染 + 光度损失"]
  G --> H["误差引导 SDF 生长细化"]

关键设计：

1. 多尺度三平面位置编码：构建 \(L\) 个不同分辨率的三平面 \(\{R_l\}_{l=1}^{L}\)，每个三平面由三张正交特征平面 \(\{P_{xy}, P_{xz}, P_{yz}\}\) 组成。对任意 3D 点 \(\boldsymbol{x}\)，投影到三张平面用双线性插值取特征后逐元素拼接，再把各层特征与坐标拼成多尺度特征向量 \(\vec{F} = (\boldsymbol{x}, F_1, \dots, F_L)\)。相比体素网格的高内存和哈希编码的碰撞问题，三平面兼顾显式表示的灵活性与空间正则性，直接支撑连续的 LoD。

2. 锥形离散采样：把穿过像素的光线看作圆锥、切成若干圆锥视锥（受 Mip-NeRF 启发，但目标是恢复细节而非多分辨率渲染）。除主光线外再从像素四角各投一条光线，于是每个视锥由 8 个顶点界定。对视锥内任意采样点 \(\boldsymbol{x}\)，用随距离递减的权重融合各顶点特征：\(W(\boldsymbol{x}, \boldsymbol{x}_v) = \exp(-k \lvert \boldsymbol{x}_v - \boldsymbol{x} \rvert)\)，其中 \(k\) 是可学习参数（初值 80），视锥越小衰减越快。

3. 多重高斯卷积特征化：仅靠稀疏顶点近似锥形采样不够，作者不去增采样，而是利用三平面的显式性，对每个顶点特征用不同核尺寸做 2D 高斯卷积以覆盖不同频率细节：\(G_v(\boldsymbol{x}_v) = \sqcup_{l=1}^{L} G(F_l, \tau_l)\)，卷积在 2D 平面上等效聚合了以顶点为中心的 3D 球内特征。最终采样点的连续 LoD 特征为 \(Z(\boldsymbol{x}) = \sum_{v=1}^{V} W(\boldsymbol{x}, \boldsymbol{x}_v) G_v(\boldsymbol{x}_v)\)（\(V=8\)）。相比用形状自适应 3D 高斯核，这一形式只用单个可学习参数 \(k\) 就表达了解空间。相比 4 倍超采样，只需约 1/4 的 MLP 查询。

4. SDF 生长细化：薄物体重建困难，一是 SDF 需要快速翻转符号，二是对应图像区域采样点偏少。作者利用 SDF 的全局关联特性，设计误差引导采样（见 Alg. 1）：渲染已训练 SDF、按 L1 误差图二值化并膨胀得到候选区域，检测线段端点作为生长起点，迭代扩张区域并只在这些区域内采样光线继续优化，引导 SDF 从缺失薄片与表面相接处”长出来”。

损失由 L1 光度损失 \(L_{rgb}\)、Eikonal 正则 \(L_{eikonal} = \frac{1}{nm}\sum_i (\lVert \nabla f(x_i) \rVert_2 - 1)^2\) 以及可选的掩码 BCE 损失 \(L_{mask}\) 组成。

实验结果

在 NeRF-synthetic 数据集上（以真值网格评估 Chamfer 距离，此数据集高频细节丰富、更能反映几何质量差异），LoD-NeuS 在 Chamfer 距离和 PSNR 上均明显优于 NeuS、HF-NeuS 与 NeRF：

方法	Chamfer↓ (Mean)	PSNR↑ (Mean)
Ours	0.184	30.308
HF-NeuS	0.553	28.514
NeuS	0.473	28.130
NeRF	2.199	27.803

在 DTU 数据集上 PSNR 领先（均值 33.633 对 NeuS 32.198），但 Chamfer 距离提升不明显（0.764 对 NeuS 0.775），作者归因于 DTU 真值点云较粗糙且有缺失，掩盖了高频细节的改进。消融实验（NeRF-synthetic 后五个案例）表明三平面编码（TPE）、锥形采样（TPE_CS）逐步累加均带来增益，而换用哈希 NGP 编码因哈希碰撞反而退化。效率上，本方法相比 4 倍超采样 GPU 显存从 29G 降到 13G 且 Chamfer 更优；单张 1600×1200 推理约 160s，300k 迭代训练约 9 小时（A100），接近 NeuS 而约为 HF-NeuS 的一半。SDF 生长细化在单个薄物体案例上把 PSNR 从 28.360 提到 28.427、Chamfer 从 0.368 降到 0.359，且比随机采样收敛更快。

亮点与局限

• 亮点：
  • 首次在 NeuS 框架内用多尺度三平面编码实现连续 LoD，兼顾显式表示的抗锯齿优势与隐式表示的连续性。
  • 用”锥形离散采样 + 多重高斯卷积特征化”高效近似锥形追踪，仅 1/4 的 MLP 查询即达到甚至超过 4 倍超采样的质量，显存与时间开销可控。
  • 针对薄物体这一 SDF 顽疾提出误差引导的 SDF 生长策略，几乎零额外成本。
• 局限：
  • SDF 生长细化因算力与数据集限制只在单个挑战性案例上验证，泛化性未充分证明。
  • 在 DTU 上几何指标提升不显著，作者归因于真值点云质量而非方法本身，这一解释未被独立量化验证。
  • 多尺度三平面 + 多重卷积引入额外结构，训练仍需约 9 小时，离实时重建尚远。

延伸思考

• 三平面多尺度编码与 Mip-NeRF 的锥形积分思路结合，指向”如何在显式特征场上廉价地做预滤波抗锯齿”这一通用问题，同样适用于后续的高斯泼溅类表示。
• 误差引导的 SDF 生长本质是把 2D 图像误差反投影去驱动几何拓扑变化，这一”渲染误差→局部几何修复”的闭环思路，或可推广到更一般的薄结构、镂空结构重建。
• NGP 哈希编码在 SDF 上因碰撞退化的观察，提醒了低阶体密度与需要精确空间距离的 SDF 对编码结构的不同诉求，值得在设计混合表示时权衡内存效率与空间显式性。