Conference

Retrofitting Existing 3D Objects with Surface-Conforming Capacitive Sensing

Andela Ilic, Junpeng Gao, Zhipeng Li, Yijing Jiang, Rachel Schuchert, Manuel Meier, Philipp Herholz, Christian Holz

ETH Zurich

SIGGRAPH 2026HCI & XR

Paper Project

一句话总结

提出一套生成式计算制造流程，仅在物体表面布线，就能给不能改动内部结构的现成 3D 物体加装互电容多点触控功能——扫描建模、优化布线、展开成 2D 铜箔贴片、投影引导贴装，最后实时识别触摸。

研究背景

领域现状：触控表面让人可以直接与实体物体交互。互电容（mutual-capacitance）是手机、平板等设备中最主流的多点触控技术，靠驱动线（Tx）与感应线（Rx）在交点处形成电容，测量手指靠近引起的耦合变化来定位触点。但要在弯曲、复杂的 3D 表面上铺这种传感器一直很难。
核心痛点：给现成 3D 物体加触控，以往要么在 3D 打印/制造时把导电走线埋进物体内部（如 Palma 等人的方法需要在打印件里挖空心管走线，还要全局参数化），要么只在局部区域贴稀疏电极、每个物体单独标定，要么靠外部摄像头视觉估计触摸（存在遮挡和几何歧义）。这些方法都需要改动、重造物体，或牺牲空间分辨率。对于功能性、独一无二、无法复制的物体（如一只能用的鼠标、陶瓷摆件、木制玩具、薄盘子），这些路都走不通。
本文 idea：把”表面互电容传感”建模成物体表面上的曲线布线问题——两层各自光滑、且只与另一层相交的曲线，交点就是触控采样点。整个过程不碰物体内部体积，只在表面贴导体，用线性优化保证交点在表面均匀分布，再展开成平面贴片制造并投影引导人工贴装。

方法

整体框架：流程分为六步串联——用 RGB-D 相机扫描实物得到 3D 网格；在表面生成两层”内蕴曲线”作为 Tx/Rx 导线；用整数线性规划（ILP）分两阶段优化，先选曲线子集让交点覆盖均匀，再选交点放电极片；把选中的 3D 曲线展开成 2D 贴片用刻字机从铜箔切出；投影仪把设计打到实物上引导人工贴装；接入互电容芯片实时解算触摸并在 3D 模型上可视化。

flowchart LR
  A["扫描实物 (SAM3D + Kinect)"] --> B["网格修复/重采样"]
  B --> C["生成两层内蕴曲线 Tx/Rx"]
  C --> D["ILP 两阶段优化: 选曲线 + 选电极点"]
  D --> E["3D 曲线展开成 2D 贴片"]
  E --> F["刻字机切铜箔"]
  F --> G["投影引导人工贴装"]
  G --> H["互电容芯片实时触摸解算与可视化"]

关键设计：

内蕴曲线生成（几何建模）：在网格上用 Crane 等人的”离散平凡联络（trivial connections）”生成两族光滑曲线。它给每条对偶边分配一个旋转角，规定切向量在相邻三角形间如何传递，从而无需全局参数化就能在任意网格上追踪出连贯的曲线族，且天然保证曲线始终贴在表面。相比参数化，这种显式内蕴追踪避免了切割网格，并自动满足”同层不自交、异层至多相交一次”的约束。Tx 层在非感应基座中心放一个奇点、从离基座测地距离最远的种子点出发按角度均匀发散；Rx 层放两个相邻奇点、从基座边界出发，让曲线延伸进感应区并与 Tx 层充分相交。每层采样约 100 条候选曲线。
两阶段约束优化（ILP）：候选曲线太多，还要满足制造与硬件约束（电极片提高信噪比、数字化芯片的 Tx/Rx 引脚数量有限）。阶段一”选曲线”：从两层里选子集，让交点到均匀采样表面点的最大测地距离最小化（保证每块表面都有传感点覆盖），并以平均距离作为次要目标抑制聚集；约束包括同层不相交（C1）、异层至多一次相交（C2）、每层曲线数不超过引脚上限（C3）。阶段二”选交点放电极片”：在已选交点里最大化放置电极片数量，同时约束任意两个电极片测地距离不小于 \(d_{\min}\)（设为电极片直径的两倍）以避免相互干扰。两阶段都用 Gurobi 求解。
展开制造与投影贴装：用 Mitani-Suzuki 的三角带展开法把 3D 测地曲线等距展开到平面，勾出 1 mm 宽的轮廓，在交点处并上小圆圈作对齐地标、在选中交点并上半径 2 mm 的电极片。用刻字机（Cricut Maker 3）从”Kapton-铜箔-Kapton”三明治层压材料（薄且柔性）一次批量切出所有绝缘走线，不到一分钟。贴装时系统用 Azure Kinect 追踪物体位姿、投影仪把布线图实时打到实物表面，人只需沿投影线贴底层走线；第二层则靠展开时并入的交点地标逐点对位。最后把走线末端焊到互电容扫描控制器（Muca 板，FT5316DME 芯片，21 路 Tx / 12 路 Rx，10 Hz）。
信号映射与交互：由于布线不是传统正交网格，系统按已知的内蕴曲线布局，把电容矩阵里每个测量 \(M_{ij}\) 反投影回 Tx 线 \(a_i\) 与 Rx 线 \(b_j\) 在表面的交点位置，映射到网格对应面上显示为热图。再对多个交点的强度做插值估计接触区域与质心，从而支持点按、滑动、捏合、多点触控等丰富交互。

实验结果

作者制作并测试了四个几何形态与尺度各异的实物（斯坦福兔、鼠标、盘子、勺子），并把流程（不含制造）额外应用到十个物体上。触摸定位实验在每个物体上取 15 个位置、每处重复触摸 10 次，无一例误报或漏报。下表是四个已制造物体的 3D 定位精度：

物体	平均误差 (mm)	最大误差 (mm)	RMSE (mm)
鼠标	0.76	1.24	0.82
盘子	0.65	1.12	0.71
斯坦福兔	1.05	1.80	1.14
勺子	1.60	3.39	1.95

定位精度达到亚毫米到约 2 mm，远小于手指接触直径（约 10 mm），相对物体包围盒对角线仅 1.77%~2.55%。其余实验用文字概述：信噪比方面，四个物体的平均 SNR 分别为 64.68、95.55、64.29、52.51，全部远超”可靠触控推荐值 15、最低阈值 7”；布局均匀性用 Voronoi 单元面积变异系数（CV）衡量，四物体在 0.303~0.594（越低越均匀），盘子偏高是因感应面积有限与边界效应；投影贴装精度平均误差 2.99~4.44 mm。消融实验显示，去掉次要目标（平均距离项）会让 CV 从 0.3~0.5 升到 0.4~0.7，证明该项有助于交点分布更均匀。

亮点与局限

亮点：
- 不改内部：仅表面贴导体即可给现成、功能性、不可复制的物体加多点触控，保留物体内部结构与外形完整性，拓宽了计算制造的适用面。
- 几何抽象干净：把互电容传感约束（同层不交、异层至多一次、连到基座）优雅地化为表面曲线路由 + ILP 优化，用内蕴曲线避免了参数化的切割与手术。
- 端到端可落地：从扫描到优化、切割、投影贴装、实时解算全流程打通，实测 SNR 和定位精度都很扎实。
局限：
- 铜箔走线会遮挡物体外观，作者提出未来可探索水转印或导电涂料。
- 假设 genus-0 拓扑且存在明确的非感应基座；更复杂拓扑需要更多奇点与额外验证。像兔子耳朵这类细长凸起因种子点只有很小方向范围能把曲线引入，覆盖可能不足。
- 优化只考虑交点空间分布，未建模电学阻抗、寄生电容（长或急弯走线带来），未来可把电学模型纳入优化。
- 运行时随网格规模上升较快：约 2 万顶点、21 Tx/12 Rx 约需 20 分钟，5 万顶点超过 1 小时。

延伸思考

这项工作把”计算制造”从”造出交互物体”推进到”改造已有物体”，思路上与 Palma 等人在 3D 打印件内部走线的 Capacitive Touch Sensing on General 3D Surfaces 形成鲜明对照——后者需要内部空心管与全局参数化，本文只在表面做文章、用内蕴曲线绕开了参数化。值得追问的方向包括：把电学信号完整性（阻抗、寄生电容、屏蔽）联合进几何优化，会不会改变最优布线拓扑？投影贴装虽有地标引导，但第二层仍需逐点人工对位，能否用增材直写或转印进一步自动化以摆脱人工误差？此外，借助 SIPLAB 已有的 CapContact 超分辨接触区域估计，未来或许能在稀疏交点上进一步提升有效空间分辨率。