Journal

ParSEL: Parameterized Shape Editing with Language

Aditya Ganeshan, Ryan Y. Huang, Xianghao Xu, R. Kenny Jones, Daniel Ritchie

Brown University

SIGGRAPH Asia 2024Geometry & ModelingShape EditingParametric EditingLarge Language ModelComputer Algebra SystemsNeuro SymbolicProgram Synthesis
Paper

一句话总结

ParSEL 让用户用自然语言说明”怎么改”、再用一个可调参数控制”改多少”，通过 LLM 推断初始”种子编辑”、再用计算机代数系统（CAS）做解析式编辑传播（AEP），把语言编辑请求转化为可实时调参的参数化编辑程序，从而对高质量 3D 资产做可控、结构一致的几何编辑。

研究背景

从自然语言编辑 3D 资产是降低 3D 内容创作门槛的一条有吸引力的路径。但作者指出一个关键洞见：自然语言擅长表达”编辑意图”，却不擅长表达”编辑幅度”。像”稍微加宽”“大幅加宽”这类词是主观的，而数值化的”0.2 单位”又常常和物体自身尺度不匹配。因此纯靠语言驱动的编辑系统在实践中往往难以精确控制。

同时，几何编辑（涉及子部件操作与空间重排）比纹理化、风格化更难：改动一个部件（如加宽座面）会破坏部件间的连接与对称关系，需要连带修改腿、靠背等相关部件。现有方法各有短板：

  • 神经方法（如在成对数据上训练的编辑模型）只能处理低分辨率点云或隐式函数，难以扩展到高质量资产，且容易产生纠缠编辑。
  • 传统的”分析-编辑”（analyze-and-edit）传播方法依赖数值优化，即便只是调整编辑幅度也要重新优化，交互卡顿；而且需要用户手动调整形状结构（如删除对称关系）来支持不同意图，也无法用语言驱动。

ParSEL 的目标就是融合”语言的直观”与”参数化控制的精确”。

方法

整体框架

ParSEL 的输入是一个实例级分割的 3D 网格加一条自然语言编辑请求，输出是一个由用户可控参数驱动的参数化编辑程序，用户滑动参数即可实时探索不同幅度的形状变体。整体分三个阶段：

flowchart LR
    A["分割 3D 网格<br/>+ 语言编辑请求"] --> B["结构化形状抽象<br/>(六面体 + 部件关系图)"]
    B --> C["LLM 增强推断<br/>种子编辑 / 关系有效性 / 编辑类型提示"]
    C --> D["解析式编辑传播 AEP<br/>(CAS 求解补全程序)"]
    D --> E["参数化编辑程序<br/>滑动参数 x 实时变形"]

核心思路是”神经-符号”分工：LLM 只做它擅长的高层语言翻译（推断主编辑及结构调整意图），几何推理这类 LLM 不擅长的活交给 CAS 符号求解器。

关键设计一：结构化形状抽象 + 参数化编辑 DSL

形状被建模为无向图 \(G(N, E)\)，节点 \(n_i\) 是带语义标签的子部件，边 \(e_i\) 表示部件间关系（连接关系 attachment 或对称关系 symmetry）。每个部件被抽象为一个六面体 \(H_i\)（以其有向包围盒初始化），作为控制笼；对笼的编辑通过谐波坐标（harmonic coordinates）传播到底层网格顶点。

在此之上定义了一套 DSL，其原子编辑算子形式为：

\[\text{EditOp}(\text{Operand}, \text{Amount}, **\text{params})\]

其中最关键的是 Amount：它不是常数，而是用户可控参数的符号数学表达式，随参数变化被动态求值。这样调节一个参数即可改变编辑幅度。DSL 的优势包括：支持平移/旋转/缩放/剪切及针对面、边、角的非仿射变形（如渐缩 tapering）；Amount 可以是任意复杂的代数表达式；每个部件的编辑相互独立，可并行执行，因而在普通笔记本上也能实时（无求解器地）预览；编辑可组合（一个操作的输出可作为下一个操作的输入）。

关键设计二：解析式编辑传播 AEP

作者实验发现直接让 LLM 一步生成完整编辑程序不可靠——LLM 能正确识别主编辑（种子编辑），但常常遗漏为保持几何一致所需的次级编辑，或算不对次级编辑的幅度表达式。因此只信任 LLM 给出的种子编辑，其余交给 AEP 补全。

AEP 把形状代数化。无编辑的六面体是常函数 \(H_i(x) = H_i^0 \in \mathbb{R}^{8,3}\)；一次平移编辑后可写成 \(H_i(x) = H_i^0 + x \cdot \hat{v}\)。关系被写成关于 \(x\) 的约束：对称关系为 \(\lVert H_i - T(H_j)\rVert_\infty < \delta\)，连接关系（用谐波坐标表示连接点）为 \(\lVert M_a H_i - M_b H_j\rVert_\infty < \delta\)。一个约束在整个输入区间内成立记为：

\[SAT(C) \implies \lVert C_i(x)\rVert_\infty < \delta \quad \forall x \in [0, \tau]\]

传播过程：编辑某节点会破坏与之相连的边，于是对相邻未编辑部件引入修正编辑来恢复被破坏的关系，新编辑又可能破坏别的边，迭代进行直到没有关系被破坏或所有部件都被编辑（见座面加宽 → 移腿/缩靠背 → 再修腿-横杆的连锁过程）。

关键设计三：解析式编辑求解器（CAS）

给定被破坏的约束集合，需要为部件 \(P_i\) 找一个编辑 \(E^*\) 使所有约束成立：

\[\text{Find } E^* \text{ s.t. } SAT(E, \mathcal{C})\]

对称关系有解析解，直接对配对部件施加对称变换 \(E^* = T(E)\) 即可恢复；连接关系则困难得多，约束数量任意且无良定义解析解。求解器分三步（Gather 约束 → Candidate 提议 → 解析求解）：

  1. 不在整个 \(\mathbb{R}^n\) 上搜索算子的 params，而是基于六面体特征（面心、顶点、局部轴向）枚举出一个可行候选集合 \(E_R\)。
  2. 对每个候选，把 Amount 设为待求函数 \(f(x)\)，用 CAS 独立求解每个约束 \(\lVert C_i(x)\rVert = 0\) 得到候选解集合 \(\mathcal{F}\)，再用数值检验筛出满足全部约束的解。这一步对不同候选”高度并行”。
  3. 从满足约束的编辑集合 \(E\) 中，用一个综合 ARAP 形变能量（越低越好）与内在对称面数量（越多越好）的准则选出最合适的编辑。

此外两个鲁棒性增强：当 \(E_R\) 无解时，基于其他已编辑部件的特征引入额外候选（nhbd-edits）；当约束根本互不相容（UNSAT）时，选破坏约束最少的编辑（breaking-edits）。

关键设计四：LLM 动态修改结构

传统传播的假设”尽量保持所有关系、用最简单的次级修改”并不总符合用户意图（例如用户可能想只改后腿打破对称，或想让腿倾斜而非平移）。ParSEL 让 LLM 从语言请求中额外推断三样东西：种子编辑、每条对称关系的有效性、各部件的编辑类型提示（限定为 translate / rotate / scale 三种最可靠）。关系被判无效则删除对应约束；有类型提示则用来过滤候选集合 \(E_R\)。三个任务用三条独立提示词并行完成，并结合思维链（CoT）、上下文示例、多次采样的多数投票（仅 5 个样本即显著提升）来增强可靠性。

实验结果

所有实验用 OpenAI GPT-4（纯文本）作为 LLM。开发集来自 PartNet（51 个分割网格，5 类家具），测试集来自 CoMPaT3D++（50 个模型，21 类，含凉亭、鸟屋、风扇等罕见类别）。对比三种系统实现：One Shot LLM（一步生成整程序）、Ours Seed Only（LLM 只给种子 + AEP，等价于纯解析版的先前传播方法）、Ours（完整系统）。

在测试集上用两选一（2AFC）的感知偏好研究，招募 32 名参与者，共 1295 次判断：

对比 偏好 Ours 的比例
Ours vs. One Shot LLM 81.06%
Ours vs. Ours Seed Only 75.59%

在开发集上把推断程序与专家标注的”真值(GT)”程序比较，从程序、几何、结构三方面度量（\(\mathcal{J}(Prog)\) 越高越好，\(\mathcal{D}(Geo)\) 越低越好，\(\%Rel\) 越高越好）：

方法 \(\mathcal{J}(Prog)\uparrow\) \(\mathcal{D}(Geo)\downarrow\) \(\%Rel\uparrow\)
One Shot LLM 0.31 8.30 61.71%
Ours Seed Only 0.53 8.62 83.47%
Ours 0.70 4.01 91.57%

完整系统在三项指标上全面领先。提示词消融显示投票和上下文示例贡献最大（去掉后种子编辑准确率与整体匹配率明显下降）；求解器消融显示去掉 nhbd-edits 会增大几何距离、去掉 breaking-edits 会增大结构距离。作者也指出任务本身很难：即便最好的方法，LLM 三样量全部匹配人类标注的输入仅约 35%，但由于结构冗余与多解性，最终仍有约 72.5% 的输入其程序被标注者认为符合意图。

亮点与局限

亮点：

  • 抓住”语言表达意图、参数表达幅度”这一核心分工，产出可实时滑动调参、结构一致的编辑，且无需训练数据集。
  • 神经-符号解耦清晰：LLM 只做高层语言翻译，几何推理交给 CAS，规避了 LLM 几何推理弱的短板。
  • 编辑以解析函数形式预计算，调参时无需重新求解，普通笔记本也能流畅交互；编辑可组合，衍生出 Proxydural Modeling（把非参数资产近似转成可用滑块探索的过程化模型，且同一几何可有多个模型）与 Shape Variation Family（对欠定请求生成多种次级解释的变体族）两个应用。

局限：

  • 搜索效率：解析编辑搜索开销大，中位约 30 秒，复杂形状可能超过 500 秒；作者认为可用更聪明的采样或提前退出缓解。
  • 编辑种类受限：只支持包围代理及其特征的仿射变形，无法做球化、柱化等；ARAP 这类迭代非解析形变与本系统不兼容。
  • 形状结构受限：包围盒未必是所有部件的最佳控制笼；只建模了有限的对称关系，尚不支持如两条曲线连点形成的靠背、以及双轴平移的墙纸对称群（建筑立面）。

延伸思考

  • 该工作示范了一种可靠的”LLM + 符号求解器”协作范式：把不确定、易出错的几何推理从 LLM 手里拿走，交给可验证的 CAS，只让 LLM 做语言到高层意图的映射。这个”careful and directed LLM integration”的思路对更广泛的形状分析、程序合成任务都有借鉴意义。
  • 与文中提到的自动分割、text-to-3D 结合是自然的下一步：生成模型让”造模型”变容易了，而”改模型”仍难，把可控参数化编辑接到自动生成的资产上，可能补齐生成式 3D 流水线里编辑环节的短板。
  • 把 Amount 表达为控制参数的符号函数、用数值采样近似检验约束满足，是在”完全解析验证”与”实时交互”之间的务实折中；如果未来能引入区间算术或更强的解析可满足性判定，或许能同时提升鲁棒性与搜索效率。