Stylized Rendering as a Function of Expectation

问题背景

现代渲染系统建立在物理真实渲染（PBR）之上，核心是求解 Kajiya 的渲染方程——一个递归积分，用蒙特卡洛方法估计像素颜色。它能捕捉丰富的物理现象、易于数值估计，但代价是：渲染结果被限制在”物理可信”的范围内。

与之相对，非真实感渲染（NPR） 追求漫画、动画等艺术化视觉效果，例如轮廓线、交叉排线（cross-hatching）、卡通着色（cel shading）、半色调（half-tone）等。这些风格来自艺术家的审美取向或早期成像工艺的技术限制，不必遵循物理规律。

长期以来，NPR 与 PBR 是两套割裂的体系。此前已有工作尝试把特定风格塞进 PBR 框架（如 Doi et al. 2021 的 ACP / FTV 颜色重映射、West 2021 把特征线当作可相交光源），但都只覆盖很有限的风格子集。据作者所知，此前没有一个统一公式能同时、原理性地捕捉 NPR 的艺术视觉和 PBR 的物理视觉。缺少这样的统一表述，就无法让物理效果（光泽反射、颜色渗透）和艺术风格在同一场景里自然交融，也无法把 PBR 的研究进展迁移到 NPR。

核心方法：风格化渲染方程

论文的关键观察是：一类 NPR 风格本质上是在”局部修改物体的颜色”。卡通着色、交叉排线，以及图像编辑里的对比度、饱和度调整，都可以归结为同一件事——修改物体表面射出的辐射（exitant radiance）。

而在 PBR 中，射出辐射 \(L(x,y)\) 本身是一个积分（一个期望）。因此，把一个”风格函数” \(g_\theta\) 作用在这个积分上，就得到了所谓的期望的函数（function of expectation）。

据此，作者把渲染方程从”递归积分”推广为”递归的期望的函数”，称为风格化渲染方程（Stylized Rendering Equation, SRE）：

\[L(x, y) = g_\theta\left( L_e(x, y) + \int_{\mathcal{V}} f_r(x, y, z)\, G(y, z)\, L(y, z)\, dz \right)\]

其中风格函数 \(g_\theta: \mathbb{R}^k \to \mathbb{R}^k\) 是一个 \(k\) 维向量函数，由参数 \(\theta\) 控制。

• 当 \(g_\theta\) 为恒等函数时，SRE 退化为普通渲染方程——PBR 只是 SRE 在仿射风格函数下的一个特例。
• 任何非平凡的 \(g_\theta\) 就构成一种风格化。
• 该公式把 Doi et al. [2021] 的单次弹射表述推广到了多次弹射，使光泽反射、颜色渗透等 PBR 效果能作用于 NPR 风格，反之亦然。

参数化的威力：\(\theta\) 可以依赖顶点位置、物体 ID、弹射深度、甚至到达该点的整条路径前缀（path prefix）。这带来精细控制：只在第一次弹射风格化（覆盖大量屏幕空间风格）、只在第二次弹射风格化（让物体直接看和从镜子里看不一样）、或”沿路径首次遇到才风格化”以获得视觉一致性。尽管公式是递归的，风格化本身不必递归。

若干理论性质：

• 存在唯一性：实践中通常只在有限次弹射上做风格化，若干次后即退化为普通渲染方程，从而收敛到唯一解。当所有风格函数相同且 \(g\) 为 Lipschitz、被积项有界时，对应的第二类非线性 Fredholm 积分方程有唯一解。
• 发散：若风格化后射出的总辐射大于入射总辐射即可能发散，类似能量守恒问题。
• 可组合性：两个风格函数可复合（map-reduce 模式对卡通着色特别有用）。
• 三色渲染：只有当 \(g_\theta\) 可分解为逐通道标量函数时，各颜色通道才能独立估计；某些风格（如卡通着色）会引入通道间依赖。
• SRE 只修改光传输，不动几何与材质，因此可与网格形变、外观编辑等方法开箱即用地组合。

技术细节：期望的函数如何估计

SRE 的难点在于：如何对”期望的函数”（尤其是递归的）做无偏或可控偏差的蒙特卡洛估计。作者提供了一个完整工具箱。

群无偏估计器（group-unbiased estimator, gu-estimator）：对某些风格函数，可以从若干个 \(I\) 的无偏估计 \(\langle I \rangle_1, \dots, \langle I \rangle_n\) 出发，构造出 \(g_\theta(I)\) 的无偏估计：

\[g_\theta(I) = \mathbb{E}\left[\, \hat{g}_\theta(\langle I \rangle_1, \dots, \langle I \rangle_n) \,\right]\]

工具箱包含以下几类策略：

1. 幂级数（Power series）：对解析风格函数，用 Taylor 展开构造 gu-estimator，配合 Georgiev et al. [2019] 的迭代前缀和（iterative prefix-sum）项选择策略保持无偏，多项式项可用 Kettunen et al. [2021] 的方差最小递推关系估计。作者还指出 Bernstein、Chebyshev、Legendre 等其他多项式基是有趣的未来方向。

2. 伸缩级数（Telescoping series）：把 \(g_\theta(I)\) 写成 \(\lim_{k\to\infty} J(k)\)，其中偏差随 \(k\) 单调消失，借助 Mann–Wald 连续映射定理保证收敛。

3. 组合运算（关键理论贡献）：定理 4.1 证明群无偏风格函数族 \(\mathcal{G}\) 在加法、逐元素乘法、函数复合下封闭——在数学上构成一个函数环（整环）。因此只要对各自的 gu-estimator 做对应运算，就能用简单风格函数搭出复杂的无偏估计器：

   • 加法：\(\hat{g}_\theta = \hat{g}_{\theta_1} + \hat{g}_{\theta_2}\)，需 \(\max\{n_1, n_2\}\) 个样本；
   • 逐元素乘法：需 \(n_1 + n_2\) 个相互独立估计；
   • 复合：需 \(n_1 n_2\) 个独立估计。

有偏估计策略（用于阶跃函数等无已知 gu-estimator、或无偏估计太慢的情况）：

• 多项式逼近：用有限次多项式 \(\tilde{h}_\theta(I) = \sum_{k=0}^{n} a_k I^k\) 逼近风格函数形状，偏差来自形状差异而非估计方法。Chebyshev 基在高次时收敛优于常用的 Taylor。缺点是在拟合区间外行为剧烈、不连续处会产生波动，需要把样本 clamp 到拟合区间。
• 直接应用（direct application）：最简单，直接把 \(g_\theta\) 作用在 \(I\) 的估计上：\(g_\theta(I) \approx g_\theta(\langle I \rangle)\)。其偏差近似正比于内层估计的方差：

\[\mathbb{E}[\,g_\theta(\langle I \rangle) - g_\theta(I)\,] \approx \frac{g''_\theta(I)}{2} \cdot \mathrm{Var}(\langle I \rangle)\]

这在阶跃函数（对应卡通着色）上表现为对风格函数的”软化（mollification）”——边界模糊。有趣的是，对阶跃函数，偏差相对内层样本数呈超线性收敛。

完整估计器与采样算法：把递归公式中每个 \(g_\theta(I)\) 替换成 gu-estimator，就得到完整估计器。与普通路径追踪每次扩展只需 1 个样本不同，完整估计器每次扩展至少需要 \(k\) 个样本，递归下去会形成一棵采样树（类似 Cook et al. 1984 的分布式光线追踪）。作者给出深度优先递归的树采样算法（Algorithm 1）。

采样成本高度可调：通过参数化控制”何时、对哪些物体、沿路径风格化几次”，可把成本从线性控制到指数级。例如”沿路径首次遇到才风格化”可在固定线性成本下获得视觉一致性；还能用俄罗斯轮盘赌提前终止分支而不破坏无偏性。

实验结果

所有结果在一台 24 核 Intel i9-13900KF、64GB DDR5 的工作站上用 CPU RGB 渲染器完成，除 Fig. 8 的 FTV 对比外，全部图像都用所提公式、估计器和采样算法生成。

• 颜色映射与卡通着色：把射出辐射映射到颜色梯度。证明 Doi et al. [2021] 的 ACP 只是”单样本（\(n=1\)）直接应用估计器”的特例，因此其颜色失真正比于辐射估计的方差。对非线性梯度，把内层样本数提到 32 就几乎与参考无差别。
• 对比 FTV：给出带全局光照的卡通着色变体（龙胸口出现自然的颜色渗透，同时保留离散色带）。FTV 用光子密度估计压低方差，早期误差低但随渲染进行累积偏差、并出现斑驳伪影；所提的暴力估计器效率较低，但偏差可控，样本充足时误差更低。
• 参数化变化的风格：递归提高饱和度时，内反射区域色彩强度随递归层数明显增强，但代价陡增——3 层递归相对未风格化渲染开销达 22.73 倍（\(8^3=512\) 样本/像素样本），因此作者强烈建议非必要不做自递归风格化。还展示了按顶点深度风格化，让龙”直接看 vs 透过玻璃/镜子看”呈现不同外观。
• 无偏风格化：对 gamma 校正（\(g_\theta(I)=I^{1/G}\)）用幂级数无偏估计，比较 6 种估计策略；发现用递推关系项估计器时，”少量高质量估计”优于”大量低质量估计”（过采样有益）。演示了 sepia 色调与增强对比度两个风格函数在加/乘/复合下组合，仍保持群无偏；但乘法因辐射值大于 1 时相乘放大而方差极高。
• 多项式逼近 vs 直接应用：对光泽龙的 tie-dye（RGB 三通道各施加不同频率相位余弦波）效果，用 degree-20 Chebyshev 基。直接应用低方差但软化风格导致去饱和失真；多项式逼近初期方差大，但随渲染进行方差消退、偏差更小，最终保留了鲜艳色彩。
• 复现已有风格：涵盖 Gooch et al. [1998] 技术插画、Barla et al. [2006] 卡通着色（二者假设单一入射方向，有闭式解，可作为算法终止条件实现零样本精确解）、Deussen et al. [1999] 交叉排线、Hall [1999] 半色调，并可与 West [2021] 的 PBR 特征线渲染无缝结合（线条可保持原色/继承表面风格/自定义风格）。
• 高级风格化：teaser（Fig. 1）在同一连贯场景中融合手绘与物理着色——交叉排线阴影、卡通着色坦克照亮暗处地板、坦克只在特定镜子中显示 viridis 色图、故事书内容透过放大镜才被上色。Fig. 13 用路径前缀做模式匹配，让海盗雕像在 11 面镜子中各自呈现不同风格。

贡献与局限

主要贡献：

• 提出风格化渲染方程：一个原理性地统一经典光传输与一类 NPR 风格的渲染方程推广。
• 给出该公式的实用估计器与树采样算法。
• 在”期望的函数”估计上取得进展：递归期望函数蒙特卡洛估计的无偏性证明，以及在加法、逐元素乘法、复合下组合估计器的配方与相关证明（函数环结构）。

局限与未来工作：

• 不连续函数：期望的函数的无偏估计目前仅限连续函数；不连续情形下无偏策略可能不收敛，有偏替代会累积偏差。寻找不连续期望函数的收敛无偏估计器是重要方向。
• 风格覆盖范围：SRE 只能局部修改射出辐射，无法捕捉基于卷积、非线性扩散过程的风格，以及油画等更抽象的风格。卷积类风格有清晰数学表述，值得优先扩展。
• 采样成本：每个像素样本需在场景中采一棵树，分支多时开销大。借鉴路径滤波、样本复用来摊销成本是有前景的方向。
• 路径积分不可用：Veach 的路径积分表述依赖各项的线性，而 SRE 的非线性 \(g_\theta\) 破坏了这一假设，也难以定义光的互易性（reciprocity）。探索”风格化路径积分表述”是有趣的未来工作。