CameraVDP: Perceptual Display Assessment with Uncertainty Estimation via Camera and Visual Difference Prediction

一句话总结

把一台经过专门标定的消费级无反相机变成显示器的高精度测量仪器，再接上视觉差异预测器（VDP），并对相机测量噪声与 VDP 预测误差做端到端的不确定性传播，从而能可信地评估显示器的坏点、色边和亮度不均等感知可见性问题。

研究背景

准确的显示器评估需要三件事：精确的物理测量、结合人眼特性的感知建模，以及对测量与建模两端的不确定性估计。

• 传统显示测量基于稀疏辐射采样加模型拟合，难以捕捉高频、像素级的空间变化伪影。
• 高分辨率 2D 光度计/色度计虽然理想，但价格昂贵、处理流程封闭，小实验室难以负担。
• 拍 RAW 的高分辨率相机是可行替代，但存在五类问题：三色滤镜无法重建输入光谱、镜头几何畸变、动态范围有限、渐晕导致亮度不均、以及光学像差造成高频衰减。
• 此外，一个伪影只有在人眼可见时才重要，因此物理测量必须与人类视觉系统模型结合；而已有 VDP 都要求测试图与参考图完美对齐并以物理单位标定，普通相机拍摄的图像达不到这个要求。

作者的目标是提供一条开源的、面向显示器测量的相机校正流水线，并把它与 VDP 及不确定性框架整合成一个端到端系统。

方法

整体框架分两个阶段：相机标定阶段（内参与畸变、MTF、渐晕、颜色、噪声共五步标定），以及端到端评估阶段（相机采集 → 六步校正 → VDP 输出带不确定性的质量分数分布与差异热力图）。参考图可以是同一相机拍摄的更高质量显示器，或由理想显示模型（如 HDR 的 BT.2100）生成的绝对色度值图像。

flowchart LR
    A[多曝光 RAW 采集] --> B[HDR 图像栈合并 + 噪声模型]
    B --> C[MTF 反演<br/>Wiener 去卷积]
    C --> D[渐晕校正<br/>平场校正]
    D --> E[几何去畸变 + 单应变换<br/>Brown-Conrady + ArUco]
    E --> F[颜色校正<br/>RGB→CIE XYZ]
    F --> G[VDP<br/>ColorVideoVDP 骨干]
    G --> H[JOD 分数分布 + 差异热力图]
    B -. 解析式正向传播 .-> G
    G -. 蒙特卡洛采样 .-> H

关键设计：

• 面向显示器的相机校正流水线：利用显示器规则的像素栅格和有限的子像素基色作为先验。采用带像素位移（sensor-shift，4-shot）的相机避免去马赛克，从而绕开去马赛克带来的像素间相关性。几何标定上改进了 OpenCV 角点检测——在过采样情况下先用局部极大值定位显示像素、再修正棋盘角点坐标，使重投影误差从 \(0.315\) 降到 \(0.018\)（约 18 倍提升）。
• 解析式相机测量不确定性传播：从传感器噪声模型出发，假设噪声在曝光间、像素间、RGGB 子像素间相互独立，把方差以正态分布形式逐级解析传播过 HDR 合并、MTF 反演、渐晕校正、几何/单应变换和颜色校正。颜色校正后各通道不再独立，改用协方差矩阵 \(\Sigma_{\hat{Y}} = M\,\Sigma_{\hat{L}^{D}}\,M^{\top}\) 描述。
• VDP 预测不确定性的蒙特卡洛估计：以 ColorVideoVDP 为骨干（XYZ → DKL 色彩对立空间 → 拉普拉斯金字塔多尺度分解 → 对比敏感度与对比掩蔽 → 汇聚为 JOD 分数）。由于 VDP 计算复杂无法解析传播，作者把 XR-DAVID 数据集随机划分成 21 组训练-验证集、各训 6 轮得到 21 套参数，对 100 对采样图评估，得到 2100 个 JOD 估计的分布作为 VDP 不确定性。
• 坏点检测的假阳性理论估计：在无真值场景下，用不确定性图对每个像素计算 z-score \(z(s) = (D_{\text{thr}} - 1)\,M_b(s)\,/\,\sigma(s)\)，经误差函数得到成为假阳性的概率，求和即得预期假阳性数 \(N_{\text{fp}} = \sum_{s}\Phi(z(s))\)，据此选择合适的检测阈值。

实验结果

在 Eizo ColorEdge CS2740 显示器上、用 Sony α7R III 相机（FE 1.8/35mm 与 FE 2.8/90mm 镜头）做测量。坏点检测消融实验以 PR 曲线下面积（PRAUC）为指标，逐步加入各校正模块（HDR 合并、MTF 反演、渐晕校正 VC、几何去畸变 GU、单应变换 HT），结果如下：

流水线配置	c=1, a=4	c=1, a=2	c=1, a=1	c=0.2, a=4	c=0.2, a=2	c=0.2, a=1
HDR-HT	0.967	0.946	0.963	0.987	0.875	0.195
HDR-MTF-HT	0.964	0.945	0.978	0.988	0.885	0.252
HDR-MTF-VC-HT	0.962	0.944	0.976	0.988	0.889	0.213
HDR-MTF-VC-GU-HT（完整）	1.000	1.000	0.996	1.000	0.908	0.282

其中 c 为韦伯对比度、a 为缺陷块边长（显示像素）。完整流水线在缺陷块边长 \(a_d \ge 2\) 时达到近乎完美的 PRAUC；MTF 反演对小尺寸缺陷帮助显著，几何去畸变让大尺寸缺陷达到近满分；渐晕校正因检测使用相对局部背景而影响甚微。仅在极端条件（\(a_d = 1, c_d = 0.2\)）下因噪声导致假阳性增多而下降。此外颜色校正的平均色差 \(\Delta E_{2000} = 0.308\)，蒙特卡洛仿真也验证了解析不确定性模型的准确性（各通道 rRMSE 均在 \(3\%\) 以内）。

亮点与局限

亮点：

• 把消费级相机改造为可标定的显示测量仪器，全流程开源，充分利用显示器像素栅格先验。
• 首次给出贯穿 HDR 合并、几何/单应变换、颜色校正的统一正向不确定性传播框架，并把感知建模的不确定性也纳入。
• 在坏点检测、色边可见性、亮度不均三个应用上验证，且模型不确定性能覆盖人类主观实验的 \(95\%\) 置信区间。

局限（作者自述）：

• 仅适用于”足够好、可被标定”的相机。
• 依赖像素位移功能来避免去马赛克；去马赛克会引入像素间相关性、破坏统计独立假设。
• MTF 反演带来的不确定性增量是在白噪声假设下近似的，对强度剧烈变化的场景可能不成立。
• 实验验证只在单一显示器上进行。

延伸思考

• 该框架把”物理测量 + 感知模型 + 不确定性”三者打通，思路可迁移到 VR/AR 头显等像素密度更低、色边和不均更明显的显示设备评估，论文里也正是用 4× 放大来模拟 VR 头显的色边效果。
• 不确定性驱动的假阳性估计提供了一种”无真值也能选阈值”的可信检测范式，对工业质检中缺乏标注的场景很有价值。
• 对像素位移的强依赖和单显示器验证是可信度的主要短板，未来若能建模去马赛克引入的相关性、并在多种面板（OLED、量子点、多基色）上验证，会显著提升通用性。