Journal

MotionBricks: Scalable Real-Time Motions with Modular Latent Generative Model and Smart Primitives

Tingwu Wang, Olivier Dionne, Michael de Ruyter, David Minor, Davis Rempe, Kaifeng Zhao, Mathis Petrovich, Ye Yuan, Chenran Li, Zhengyi Luo, Brian Robison, Xavier Blackwell, Bernardo Antoniazzi, Xue Bin Peng, Yuke Zhu, Simon Yuen

NVIDIA

Paper Project Code

一句话总结

MotionBricks 用一个可扩展的模块化隐空间生成骨干网络，配上「智能基元」的高层关键帧接口，让单一模型零样本地实时（15,000 FPS、2ms 延迟）生成 35 万级动作库中的各类角色动作，并可直接迁移到虚拟角色和真实人形机器人上。

研究背景

领域现状：运行时交互式动作控制在工业界仍由传统技术主导。动画/行为图（animation graph）与动作匹配（motion matching）能提供细粒度的质量把控，但状态和转移一多就极难维护——文中举例一款 3A 游戏的状态机可能要管理上万条动画、数千个状态、嵌套十余层。而近年生成式方法（尤其是动作扩散模型）虽然质量与多样性强，却普遍达不到实时。
核心痛点：作者归纳为两点。其一是实时可扩展性——生成式方法在实时算力约束下质量和规模都会明显退化；其二是集成难题——工业应用需要速度指令、风格选择、精确关键帧等多模态细粒度控制，而文本/标签驱动的模型难以满足，且缺乏面向生成模型的系统化动作设计接口。
本文 idea：把「低层动作合成」和「高层行为设计」解耦。低层用一个以动作补间（in-betweening）为范式的隐空间神经骨干，靠结构化多头 token 设计换取容量与精度；高层则提出两类智能基元（智能移动、智能物体），把所有控制统一翻译成关键帧约束喂给骨干。骨干训练时对下游任务无感知（不需要预定义控制类型或任务标签），训练完即冻结，像搭积木一样即插即用。

方法

整体框架：推理分为四个阶段。给定用户指令或游戏事件，智能基元先生成目标关键帧；根模块（root module）预测帧数与初始根轨迹；姿态模块（pose module）在根轨迹和关键帧约束下建模多头隐空间姿态 token 的分布；最后解码器把 token、根轨迹和关键帧一起解成连续动作。整个循环自回归运行，当控制信号改变或缓冲区帧数不足时触发重规划。

flowchart LR
  A["用户指令 / 游戏事件"] --> B["智能基元<br/>生成目标关键帧"]
  B --> C["根模块<br/>预测帧数与根轨迹"]
  C --> D["姿态模块<br/>多头姿态 token 分布"]
  D --> E["解码器<br/>解成连续全身动作"]
  E --> F["更新动作缓冲区"]
  F -.重规划.-> B

关键设计：

结构化多头 token 化器：核心创新。编码器只编码局部姿态（不含根信息），把 \(T\) 帧动作下采样成 \(T/4\) 个 token，再沿特征维度用 \(K\) 个独立码本分别量化，即 \(z^t_{q,k} = \arg\min_{e_k \in E_k} \lVert z^t_{e,k} - e_k \rVert_2^2\)。这种「多头」量化不靠人工按身体部位切分，而是让网络数据驱动地学习动作的组合性与解耦，好处是隐流形更鲁棒——个别 token 预测错时能优雅降级。实验证明它的 token 重建损失能随码本规模（最高到 \(10^9\) 量级）持续下降，而单头 VQ-VAE 基线很快饱和。作者建议每头 128~256 个 token、总容量约 \(10^9\) 为最佳配置。
根-姿态解耦：借鉴传统动画里的脚步缩放与时间扭曲，把根（轨迹）和姿态分开编码。虽然两者强相关，但姿态意图很大程度可从根意图中剥离（同一步态可以走出不同速度）。解码器通过跳连在各上采样层注入根轨迹条件，使得固定姿态 token 下可以自动把动作扭曲到不同根轨迹上（线性插值根轨迹仍不产生脚滑），为下游的精确全局关键帧匹配提供了实用工具。
渐进式模块化骨干（粗到细）：根模块两步走——先用 transformer 预测补间帧数（4 帧分辨率的分布，支持按位掩码做灵活时序控制），再在时序上估计初始根轨迹。姿态模块是框架里最大的 transformer，采用掩码 token 建模策略按置信度迭代预测，实际单次前向即可产出高质量动作。这种模块化不仅逐级提升质量，还给了一个可检视、可修改中间结果的透明工作流。所有模块都用「可变约束数量 + 掩码嵌入」机制，缺失约束时用可学习掩码占位，从而统一处理导航（1~2 个关键帧）到物体交互（密集关键帧）的差异。
智能基元（高层接口）：智能移动用临界阻尼弹簧模型先给根轨迹一个初始估计 \(r(t) = e^{-\gamma t}(r_0 - r_{g,1}) + (v_0 + \gamma(r_0 - r_{g,1}))t + r_{g,1}\)，再经根模块神经细化，既尊重用户输入又能修正无效速度、避开控制死区，并靠在轨迹上放置风格关键帧实现风格切换。智能物体用「意图关键帧 + 交互绑定」定义每个可交互物体：关键帧带一个丢帧属性 \(\tau\) 控制软/硬约束（\(\tau=0\) 为必须精确到达的硬约束，\(\tau>0\) 为软引导），交互绑定负责检测、放置与关键帧锚定，使同一套关键帧能从不同角度、不同位置复用，摆脱模板式预制片段。

实验结果

在 350k 私有数据集（约 700 小时、9,300 种技能、36 类）上与多种 SOTA 补间方法对比。下表取几个代表方法在核心指标上的对比（FID 越低越好，其余胜率/到达率越高越好）：

方法	FID↓	FPS↑	延迟↓	人评胜率↑	目标到达↑
Ground Truth	0.022	—	—	—	—
Cond. In-betweening	1.594	27,000	2.4ms	0.8%	87.7%
CondMDI（扩散）	1.213	1,930	33.2ms	15.6%	61.3%
MMM（token）	1.544	3,600	18.1ms	19.9%	34.8%
Closd-DiP（扩散）	1.292	4,200	15.3ms	15.1%	75.7%
本文	1.054	15,000	2ms	86.5%	99.6%

本文在分布匹配（FID/MMD）、抖动、关键帧精度上全面领先，目标到达率接近满分（99.6%），40 人用户研究里的胜率（86.5%）和评分（4.06/5）也居首，同时保持 2ms 延迟、15,000 FPS 吞吐。类似结论在 LaFAN1-G1、HumanML3D、70k 三个数据集上同样成立（本文 FID 均最低）。整体趋势是：非生成式方法精度尚可但分布质量和人评差，扩散方法分布好但难满足空间约束，而本文兼顾两端。消融进一步表明多头 token 化是有效利用大容量、随数据规模持续受益的关键；单头基线在大数据/大码本下会退化。

亮点与局限

亮点：
- 统一 + 零样本：一个冻结骨干覆盖导航、物体交互、多风格，下游不需微调或加标签，工程上像搭积木；同一模型还能从 UE5 虚拟角色直接迁移到 Unitree G1 真机（真机延迟约 5ms，10Hz 重规划）。
- 多头 token 化的可扩展性：把「规模上不去」这个生成式动作合成的老问题，通过结构化多头量化换成了能吃下 35 万级动作库的单模型，且有清晰的规模-精度权衡分析。
- 速度与质量少见地兼得：2ms/15,000 FPS 远超实时门槛，还拿下最优分布与精度指标，具备真实产线可用性（ONNX + TensorRT 部署，非专家用户 10 分钟内可配置一个基元）。
局限（作者自述）：
- 数据集虽大但稀有动作覆盖不足（如 0.5m 跳越仅一条），且未显式建模物体交互本身。
- 真机缺乏特权仿真信息（真实物体位姿、地形），智能物体基元在纯传感器输入下会失效，需要视觉驱动的运动规划。
- 作为运动学规划器，可能产生物理上不可行的动作（自碰撞、超硬件极限的危险翻转），需与跟踪策略协同训练。
- 跨形态重定向仍是难题：运行时重定向快但质量低，离线重定向准但要数月迭代。

延伸思考

MotionBricks 的思路和图像/视频领域「大规模离散 token + 掩码生成」的范式高度同构，本质是把动作也当作可组合的 token 序列来学，多头量化对应了动作天然的部位/时序组合性——这解释了它为何比单码本更能吃规模。它把「行为图」重新表述为「由神经骨干填补转移的全连接图」，等于用一个生成模型替掉了人工维护的状态机，这对游戏动画的生产流程冲击很大。值得追问的是：智能基元把一切压成关键帧约束，虽然统一优雅，但对需要长时程语义规划（如复杂任务序列）的场景，关键帧接口是否够表达？以及作者提到的与跟踪策略协同训练，很可能是把这套运动学规划真正推向物理可靠机器人控制的关键下一步。