2D Gaussian Splatting for Bézier Spline Line Art Vectorization

一句话总结

用一套可微的 2D 高斯泼溅渲染器把栅格线稿拟合成带宽度和笔刷纹理的 Bézier 样条，借助深度与语义线索做拓扑感知的笔画初始化，得到既高保真又可编辑、还能扩展到视频的矢量化结果。

研究背景

• 领域现状：线稿矢量化是老问题，早期方法把它拆成拓扑提取、曲线拟合、笔画分组等一连串子任务；深度学习兴起后出现端到端预测矢量基元的方法，近期代表作 DeepSketch 用多阶段流水线（预测中心线距离场 → 等值线提取 → 后处理）。更通用的图像矢量化则有 DiffVG、Bézier Splatting 这类可微渲染器。
• 核心痛点：很少有方法能同时做到”语义上有意义、用户可编辑、并保留手绘笔触纹理”的曲线表示；贪心密集初始化会产生大量结构混乱的冗余笔画；绝大多数方法只处理静态图像，无法自然扩展到需要时序一致与笔画跟踪的动画内容。
• 本文 idea：提出基于 2D 高斯泼溅的可微 Bézier 样条笔刷渲染器，在统一的 Bézier 样条表示下联合优化笔画几何、线宽和笔刷纹理；并用场景理解模型（深度 + 语义特征）把语义线索注入骨架图，将笔画初始化建模成图划分问题，让初始笔画更贴近艺术家的画法。

方法

整体框架分三步：先从栅格图做拓扑与语义感知的初始化（骨架图划分 → 拟合 Bézier 样条），再用可微的 2D 高斯泼溅渲染器分两阶段优化——阶段一只优化几何（控制点 + 宽度，含剪枝与稠密化），阶段二再叠加纹理贴图拟合笔刷外观。所有环节可微，支持端到端梯度下降，且中间/最终结果都是标准 Bézier 样条，可随时被用户编辑或锁定部分参数。

flowchart LR
  A["栅格线稿"] --> B["预处理: 二值化 + 深度 + 语义特征"]
  B --> C["构建带亲和度的骨架图"]
  C --> D["图划分为子图 -> 拟合 Bézier 样条 (初始化)"]
  D --> E["阶段1: 优化几何 (控制点+宽度) + 剪枝/稠密化"]
  E --> F["阶段2: 追加纹理贴图拟合笔刷外观"]
  F --> G["参数化矢量结果 (线条+粗细+纹理)"]

关键设计：

1. 拓扑与语义感知的笔画初始化。对骨架像素构建 8 连通图后，把初始化当作图划分问题。仅靠连通性在交叉点处会有歧义，于是给每条边定义亲和度 \(A(i,j)\in[0,1]\)，用深度和语义特征在节点邻域上计算轮廓系数（silhouette score）来衡量两端是否属于同一笔画：\(A(i,j)=\tfrac{1-\lambda_z S_z(i,j)-\lambda_f S_f(i,j)}{2}\)。度数 \(\ge 3\) 的节点先删掉低亲和度的边，度数为 3 的交叉点再用局部方向做几何一致性判断（保留最接近”直穿”的走向）。清理后用社区发现做子图划分，每个子图转成欧拉图遍历出覆盖所有边的最小路径集合，拟合三次 B 样条再转 Bézier 样条，宽度由骨架距离变换初始化并用弧长多项式建模。

2. Bézier 样条 + 高斯泼溅的笔画渲染。中心线用 \(n\) 段三次 Bézier 样条 \(B(T;P)\) 表示，宽度是弧长 \(T\) 的 \(m\) 次多项式 \(w(T;a)=\sum_{k=0}^{m}a_k T^k\)。笔画区域点映射到图像空间 \(x(T,s)=B(T;P)+s\cdot w(T;a)\cdot n(T;P)\)。渲染时沿切向按固定间距 \(\Delta T\)、沿法向按纹理高度均匀采样各向同性 2D 高斯，每个高斯放在 \(x(T,s)\)，取固定黑色、从纹理贴图采样得到的不透明度，以及由局部宽度和曲率决定的尺度 \(\sigma(T,s)=\tfrac{w(T)}{\rho}(1+s\,w(T)\,\kappa(T))\)——这种曲率感知缩放让外侧高斯变大、内侧变小，改善弯曲笔画的覆盖。由于弧长参数化无闭式解，作者用稠密查找表把 Bézier 参数映射到弧长参数。

3. 外观建模与两阶段优化。笔画颜色固定为黑，外观由局部坐标下的不透明度纹理贴图表示，纹理沿笔画的重复和对齐由缩放 \(k\) 与偏移 \(d\) 控制。优化时几何用重建损失 \(L_{recon}=L_{MSE}+\lambda_{LPIPS}L_{LPIPS}\)；纹理笔画还需几何正则 \(L_{geo}=\lambda_{cont}L_{cont}+\lambda_{int}L_{int}+\lambda_{curv}L_{curv}\)（分别鼓励段间 \(G^1\) 连续、惩罚自交、惩罚过高曲率），避免外观与几何互相补偿。优化过程中周期性剪枝低不透明度笔画、按 Chamfer 准则删冗余控制点，并用距离变换在欠采样区域补新笔画。

4. 视频扩展。为每个控制点预测位移向量数组 \(\{\Delta P_f\}\)、为每段预测可见性因子 \(\{\Delta o_f\}\)，则第 \(f\) 帧有 \(P_f=P+\Delta P_f\)、\(o_f(T,s)=o(T,s)\cdot\mathrm{sigmoid}(\Delta o_f)\)。先矢量化参考帧，用现成点跟踪方法 DOT 跨帧跟踪采样点得到位移初值，再最小化全帧期望损失 \(L=\mathbb{E}_f[L_f]\)。对大运动或遮挡，监控各帧重建误差，把误差最高的帧设为新参考帧引入关键帧，并只添加与已有笔画平均距离超过阈值 \(d_{min}\) 的新笔画以避免重复。

实验结果

在 Yan et al. 2024 的 clean 基准（369 张线稿，含矢量真值）上与 VirtualSketch、PolyFlow、PolyFields、DeepSketch 对比。本文在除笔画数量外的所有指标上领先：相比次优的 DeepSketch，Chamfer 距离降低约 35%、笔画长度差降低约 55%。

方法	Chamfer↓	Str.Len.Diff↓	LPIPS×10⁻³↓	PSNR↑	SSIM×10⁻²↑
VirtualSketch 2021	149.29	34.06%	124.33	25.87	89.96
PolyFlow 2021	1.75	10.59%	21.93	31.28	97.90
PolyFields 2019	1.55	4.58%	20.58	30.92	97.28
DeepSketch 2024	1.45	3.14%	10.07	32.44	98.37
本文	0.94	1.40%	5.15	39.70	99.62

其余实验用文字概括：在 textured 基准上，因能同时拟合纹理和变宽度，本文的重建质量（PSNR 29.02 对 DeepSketch 的 19.44）显著领先，同时保持较低 Chamfer 距离。消融显示随机初始化因梯度稀疏常收敛到差解，图初始化（G）、边亲和度（A）、剪枝与稠密化（PD）逐步提升质量，且用自研可微渲染器优于把 DiffVG 当后端。运行时上本文在高分辨率优势明显（1024px 约 10.7 秒），且随笔画数增加比 DiffVG 更快、Chamfer 更低。

亮点与局限

• 亮点：
  • 把语义/深度线索融进骨架图划分做初始化，笔画切分更符合艺术家意图，也从源头缓解了交叉点歧义；
  • 统一的 Bézier 样条 + 2D 高斯泼溅表示同时建模几何、变宽度和笔刷纹理，全流程可微、端到端拟合；
  • 输出即标准 Bézier 样条，天然兼容矢量编辑软件，可局部/全局编辑、可冻结部分参数继续优化；
  • 通过时序跟踪 + 自动关键帧扩展到视频，实现笔画跟踪与编辑传播。
• 局限：
  • 对含复杂纹理或噪声背景的粗糙草图仍会残留伪影，可能产生”幻觉”笔画；
  • 视频中遮挡是主要难题，位移预测只能部分补偿，严重遮挡仍会闪烁或产生视觉瑕疵；
  • 笔画数量并非越少越好，更少可能源于漏画，因此不能直接当作紧凑性优势。

延伸思考

这项工作把近两年 3D 高斯泼溅的”可微、快速、基元式”渲染范式迁移到 2D 矢量线稿领域，和 Bézier Splatting 属同一思路，但针对线稿的拓扑敏感性做了专门设计（宽度函数 + 曲率感知高斯尺度 + 语义初始化）。值得追问的是：语义特征来自 DINOv2 等预训练模型，其质量直接决定初始化好坏，换域（如工业草图、书法）时泛化如何？视频部分目前依赖现成点跟踪 DOT 提供位移初值，遮挡处理仍是短板，若能引入更强的显式遮挡推理或与帧插值/inbetweening 方法结合，可能让”可编辑矢量动画”这一愿景更完整。此外，把颜色固定为黑限制了彩色笔刷/多色线稿的适用范围，是自然的下一步扩展方向。