Conference

Broadband Hyperspectral 3D Imaging using Dispersed Structured Light

Suhyun Shin, Yunseong Moon, Ryota Maeda, David B. Lindell, Kiriakos N. Kutulakos, Seung-Hwan Baek

POSTECH; University of Hyogo; University of Toronto

SIGGRAPH 2026Reconstruction
Hyperspectral ImagingStructured Light3D ReconstructionComputational ImagingSWIR
PaperCode

一句话总结

用一套「单光谱仪」的色散结构光系统，把高光谱 3D 成像从传统的可见光窗口一路拓宽到 450–1500 nm（可见光—近红外—短波红外），同时重建出稠密的宽波段光谱反射率和精确的三维几何。

研究背景

  • 领域现状：高光谱 3D 成像（H3D）能同时拿到逐像素的光谱反射率和场景几何，已用于精准农业、矿物勘探、文物数字化等。但现有系统几乎都被限制在窄光谱窗口里，通常只覆盖可见光，或单独的近红外、短波红外某一段。
  • 核心痛点：宽波段（可见—近红外—短波红外，简称 VNIR–SWIR）成像的根本障碍在传感器——硅基 CMOS 只覆盖可见—近红外，短波红外必须用 InGaAs 传感器。传统光谱仪方案要覆盖全波段就得配两套独立的光谱仪模块加两种传感器，导致系统体积、成本、标定与同步复杂度都急剧上升。不同波段其实提供互补的物理线索：可见光看表面外观，近红外对含水量和次表面散射敏感，短波红外揭示材料特有的吸收特征，因此宽波段覆盖对可靠的材料判别非常关键。
  • 本文 idea：把「色散结构光」（dispersed structured light）从窄带推广到宽波段，用单个色散元件（棱镜）配合卤素光源产生宽波段光谱编码的结构光，再用一对 VNIR + SWIR 立体相机采集，从而只用一套光谱仪就完成宽波段高光谱 3D 重建。

方法

整体框架分三步：一套宽波段色散结构光照明模块把光谱在空间上「摊开」并用振镜扫过场景，VNIR/SWIR 立体相机在不同扫描角下成像；先用立体匹配从合成的立体图恢复深度；再以深度为几何先验，用分析-合成（analysis-by-synthesis）框架反解出每个波段的高光谱反射率，最后把两台相机的结果对齐、锐化，融合成 450–1500 nm 的统一光谱体。

flowchart LR
  A["卤素光源 + 棱镜色散 + 振镜扫描"] --> B["VNIR / SWIR 立体相机采集多角度图像"]
  B --> C["最大强度投影合成立体图 → 立体匹配求深度"]
  B --> D["以深度为先验的分析-合成光谱反解"]
  C --> D
  D --> E["VNIR-SWIR 视角对齐 + 引导锐化"]
  E --> F["450-1500 nm 宽波段高光谱 3D 结果"]

关键设计：

  1. 宽波段色散结构光照明。用卤素灯提供从可见到短波红外的连续光谱，经球面透镜与光阑准直，再由柱面透镜和竖直狭缝整形成线光源，经过宽波段色散棱镜产生「波长-空间」色散，最后用振镜把这条色散线在 \(\theta \in [-22.5^\circ, 22.5^\circ]\) 范围内横扫场景。扫描保证场景中每一点都会依次被全波段的光照亮，从而把波长信息编码进采集序列，同时立体几何提供深度、解决「波长-几何」的耦合歧义。

  2. 高斯图像形成模型。相机 \(c \in \{\text{VNIR}, \text{SWIR}\}\) 在角度 \(\theta\) 处采到的强度建模为对波长的积分 \(I_c(x,y,\theta) = \int \Omega_c(\lambda)\, H_c(x,y,\lambda)\, \Phi_c(x,y,Z_c,\theta,\lambda)\, d\lambda\)，其中 \(\Omega_c\) 是相机光谱灵敏度、\(H_c\) 是高光谱反射率、\(\Phi_c\) 描述投到场景上的色散结构光。由于准直光束有限、衍射与像差，投影线在空间上并非单像素细线而是有模糊，作者用一个关于振镜角 \(\theta\) 的高斯函数刻画：每个波长在略微不同的振镜角达到峰值、并平滑地贡献到相邻角度，高斯均值 \(\mu_c\) 对应峰值角、标准差 \(\sigma_c\) 表示色散线的模糊程度，再乘上光学透过率、振镜反射率、光源发射谱和平方反比衰减项。

  3. 数据驱动标定。高斯参数 \(\mu_c\)、\(\sigma_c\) 靠标定得到：把宽波段色散线扫过放在多个深度的 Spectralon 标准白板，相机前加窄带滤光片隔离特定波长，记录「强度—振镜角」曲线并拟合高斯，得到离散的均值和标准差样本；再沿空间维做线性插值、沿深度和波长维做非线性插值，得到覆盖整个成像体的稠密参数场。几何参数用棋盘格标定，辐射响应 \(\Psi_c(\lambda) = \Omega_c(\lambda) T(\lambda) R(\lambda) E(\lambda)\) 通过在白板上最小化渲染与实测强度的 \(l_1\) 残差来估计。

  4. 深度与高光谱联合重建。深度端：沿扫描角方向对每个像素取最大强度投影 \(\hat{I}^{\max}_c(x,y) = \max_i \hat{I}_c(x,y,\theta_i)\) 合成高信噪比立体图，喂给预训练的 FoundationStereo 网络做跨模态立体匹配（对 VNIR 与 SWIR 的外观差异鲁棒），得到视差再转深度。光谱端：把图像形成向量化为 \(I_c(x,y) = S_c(x,y) H_c(x,y)\)，系统矩阵 \(S_c\) 编码高斯模型与相机灵敏度，深度作为先验来构造该矩阵；通过 \(\arg\min_{H_c} \lVert S_c H_c - \hat{I}_c \rVert_2^2 + \tau(\lVert \nabla_\lambda H_c \oslash \Psi_c \rVert_1 + \lVert \nabla_{xy} H_c \oslash \Psi_c \rVert_1)\) 求解，正则项按逆辐射响应加权，在低信号波段加强、高信号波段减弱。VNIR（450–900 nm，20 nm 间隔）与 SWIR（875–1500 nm，25 nm 间隔）的结果经几何引导重映射对齐到 VNIR 视角，融合成 47 个波段；最后用引导滤波做「引导锐化」，用位于景深内的清晰波段去补偿色差焦距引起的部分波段模糊。

实验结果

主实验用 ColorChecker 标准色卡评估宽波段高光谱重建精度，并配合已知形状的深度评估，代表性指标如下：

评估项 指标 数值
ColorChecker 光谱精度 平均 SAM（光谱角）↓ 0.13 rad
ColorChecker 光谱精度 平均 RMSE↓ 0.03
3D 打印阶梯深度 平均绝对深度误差↓ 4.5 mm

在 24 个色块上重建的反射率曲线与真值在 450–1500 nm 全程都贴合。除定量评估外，作者在多个真实场景上做了定性演示：小苏打与糖在可见光下同为白粉、光谱几乎一致，但在 1450 nm 短波红外糖的反射率明显更低，可可靠区分；含水与干燥区域在近红外—短波红外呈现明显的反射率差异；真假植物在近红外—短波红外光谱不同（真植物反射更高），钞票上可见光可见的安全纹样在短波红外变得不可见；不透明塑料膜在可见光下遮挡视线、在短波红外却变得透明可透视；手部近红外能看到皮下静脉，波长升到短波红外后因吸收增强对比度下降。整套宽波段高光谱 3D 体的采集约需 4 分钟。

亮点与局限

  • 亮点：
    • 用「单光谱仪 + 单色散元件」就把高光谱 3D 成像扩到 450–1500 nm，避开了双光谱仪方案的体积、成本与标定复杂度。
    • 把色散结构光推广到宽波段，配上清晰的高斯图像形成模型和以深度为先验的分析-合成重建，光谱与几何精度都不错（SAM 0.13 rad、深度误差 4.5 mm）。
    • 借助预训练立体匹配网络实现跨光谱（VNIR–SWIR）的鲁棒深度估计，并给出小苏打/糖、干湿、真假植物、透视塑料膜、皮下血管等一系列有说服力的应用演示。
  • 局限：
    • 宽波段带来的色差焦距变化导致部分波段空间模糊，目前靠引导锐化缓解，当结构在不同波长间不一致时可能引入误差；作者建议未来用消色差光学或显式建模波长相关 PSF。
    • 采集速度慢，一次完整高光谱 3D 体约 4 分钟（振镜扫描 + HDR 多曝光），只适合静态场景。

延伸思考

这条工作是作者 DSL（CVPR 2024）、DDSL（CVPR 2025 面向动态场景）的自然延续，核心贡献是把「波段范围」这一维度打开到 SWIR。真正让宽波段可行的关键其实是用了预训练的通用立体匹配网络来跨光谱求深度——这把「不同波段外观差异大导致难匹配」的老问题外包给了学习式几何特征，值得关注这种「传统计算成像 + 现成大模型」的组合范式。后续最有价值的方向是速度：作者提到的端到端可微成像框架（联合优化编码照明与重建、走稀疏采集）若能把 4 分钟压到实时，宽波段高光谱 3D 在质检、生物医学、材料鉴伪等场景的落地空间会大很多。