揭秘Universal Token架构GR00T-WholeBodyControl如何用单解码器统一4种运动输入【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControlGR00T-WholeBodyControl 是 NVIDIA 推出的人形机器人全身控制WBC统一开发平台其核心亮点 GEAR-SONIC 控制器用一套Universal Token通用令牌架构把 G1 动作参考、SMPL 人体动作、SOMA 人体骨架、VR 遥操作这 4 种异构运动输入压缩成统一的 64 维运动令牌最终由一个解码器直接输出关节动作。本文将用通俗语言拆解这套架构的设计奥秘。 先搞懂问题为什么需要统一运动输入人形机器人想学会各种运动参考信号来源往往各不相同机器人自身的动作库如 G1 的关节序列人类动作捕捉数据SMPL 人体模型、SOMA 骨架VR 头显/手柄的实时遥操作信号3 点追踪传统做法是给每种输入训练一个独立控制器维护成本高、能力无法迁移。SONIC 的思路是只要能把所有输入映射到同一个运动语义空间一个策略网络就能通用所有输入。 4 种编码器把异构输入翻译成同一种语言在配置 gear_sonic/config/actor_critic/universal_token/all_mlp_v1_soma.yaml 中可以看到 4 个编码器并行挂载编码器输入内容配置文件g1G1 机器人多帧未来关节指令encoders/g1_mf_mlp.yamlteleopVR 3 点位置/姿态目标encoders/teleop_mlp.yamlsmplSMPL 人体关节未来序列encoders/smpl_mlp.yamlsomaSOMA 骨架关节 手腕位置encoders/soma_mlp.yaml每个编码器本质上是一个 MLP 网络隐层 [2048, 1024, 512, 512]SiLU 激活把各自形态不同的输入向量投影到同一个潜在空间。 FSQ 量化64 维令牌是压缩的语义编码结果并不是直接传给解码器中间还夹了一道FSQFinite Scalar Quantization有限标量量化量化器配置见 gear_sonic/config/actor_critic/quantizers/fsq.yaml参数num_fsq_levels: 32、max_num_tokens: 2即2 个令牌 × 32 维 64 维运动令牌这道瓶颈有两个妙处强制信息压缩不同输入源只有表达出语义一致的潜在表示才能通过量化天然促使 4 种输入对齐到同一空间预留扩展接口代码支持latent_residual潜在残差注入上层交互策略可以在不重训基础模型的情况下修改令牌、干预动作见 universal_token_modules.py 中encode()与forward()的 residual 逻辑。 单一解码器为什么一个出口是灵魂所有编码器输出的令牌汇入同一个批次张量后assemble_all_tokens按编码器掩码拼批统一送入解码器g1_dyn令牌 本体感知 → 关节空间动作配置见 decoders/g1_dyn_mlp.yamlg1_kin令牌 → 重建未来运动指令用于重建辅助损失配置见 decoders/g1_kin_mf_mlp.yaml单一解码器带来的收益很直接参数高效动力学知识只学一遍4 种输入共享迁移免费VR 遥操作中练到的平衡能力自动惠及动作跟踪场景部署简单推理时只需编码器选一个 解码器一个官方 ONNX 模型也只拆成model_encoder.onnx/model_decoder.onnx两件套。 核心代码与配置地图想深入阅读按这条链路走即可核心模块编码 → 量化 → 解码全流程gear_sonic/trl/modules/universal_token_modules.py完整架构配置含 4 编码器 2 解码器universal_token/all_mlp_v1_soma.yaml训练入口gear_sonic/train_agent_trl.py部署端 C 推理TensorRTgear_sonic_deploy/src/TRTInference/官方部署说明docs/source/references/deployment_code.md 小结这套架构教会我们的三件事先统一表示再谈通用——异构输入的价值在于共享潜在空间而非堆模型量化瓶颈是隐式的对齐器——FSQ 让不同编码器的输出被迫说同一种语言单解码器 知识复用——运动技能只学一次任何新输入接入编码器即可使用。正是这多编码器 单一解码器的 Universal Token 设计让 GR00T-WholeBodyControl 用一个 50 Hz 控制器同时支撑动作跟踪、VR 遥操作与 VLA 数据收集成为其人形机器人控制器生态的基石。【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 揭秘Universal Token架构：GR00T-WholeBodyControl如何用单解码器统一4种运动输入
揭秘Universal Token架构GR00T-WholeBodyControl如何用单解码器统一4种运动输入【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControlGR00T-WholeBodyControl 是 NVIDIA 推出的人形机器人全身控制WBC统一开发平台其核心亮点 GEAR-SONIC 控制器用一套Universal Token通用令牌架构把 G1 动作参考、SMPL 人体动作、SOMA 人体骨架、VR 遥操作这 4 种异构运动输入压缩成统一的 64 维运动令牌最终由一个解码器直接输出关节动作。本文将用通俗语言拆解这套架构的设计奥秘。 先搞懂问题为什么需要统一运动输入人形机器人想学会各种运动参考信号来源往往各不相同机器人自身的动作库如 G1 的关节序列人类动作捕捉数据SMPL 人体模型、SOMA 骨架VR 头显/手柄的实时遥操作信号3 点追踪传统做法是给每种输入训练一个独立控制器维护成本高、能力无法迁移。SONIC 的思路是只要能把所有输入映射到同一个运动语义空间一个策略网络就能通用所有输入。 4 种编码器把异构输入翻译成同一种语言在配置 gear_sonic/config/actor_critic/universal_token/all_mlp_v1_soma.yaml 中可以看到 4 个编码器并行挂载编码器输入内容配置文件g1G1 机器人多帧未来关节指令encoders/g1_mf_mlp.yamlteleopVR 3 点位置/姿态目标encoders/teleop_mlp.yamlsmplSMPL 人体关节未来序列encoders/smpl_mlp.yamlsomaSOMA 骨架关节 手腕位置encoders/soma_mlp.yaml每个编码器本质上是一个 MLP 网络隐层 [2048, 1024, 512, 512]SiLU 激活把各自形态不同的输入向量投影到同一个潜在空间。 FSQ 量化64 维令牌是压缩的语义编码结果并不是直接传给解码器中间还夹了一道FSQFinite Scalar Quantization有限标量量化量化器配置见 gear_sonic/config/actor_critic/quantizers/fsq.yaml参数num_fsq_levels: 32、max_num_tokens: 2即2 个令牌 × 32 维 64 维运动令牌这道瓶颈有两个妙处强制信息压缩不同输入源只有表达出语义一致的潜在表示才能通过量化天然促使 4 种输入对齐到同一空间预留扩展接口代码支持latent_residual潜在残差注入上层交互策略可以在不重训基础模型的情况下修改令牌、干预动作见 universal_token_modules.py 中encode()与forward()的 residual 逻辑。 单一解码器为什么一个出口是灵魂所有编码器输出的令牌汇入同一个批次张量后assemble_all_tokens按编码器掩码拼批统一送入解码器g1_dyn令牌 本体感知 → 关节空间动作配置见 decoders/g1_dyn_mlp.yamlg1_kin令牌 → 重建未来运动指令用于重建辅助损失配置见 decoders/g1_kin_mf_mlp.yaml单一解码器带来的收益很直接参数高效动力学知识只学一遍4 种输入共享迁移免费VR 遥操作中练到的平衡能力自动惠及动作跟踪场景部署简单推理时只需编码器选一个 解码器一个官方 ONNX 模型也只拆成model_encoder.onnx/model_decoder.onnx两件套。 核心代码与配置地图想深入阅读按这条链路走即可核心模块编码 → 量化 → 解码全流程gear_sonic/trl/modules/universal_token_modules.py完整架构配置含 4 编码器 2 解码器universal_token/all_mlp_v1_soma.yaml训练入口gear_sonic/train_agent_trl.py部署端 C 推理TensorRTgear_sonic_deploy/src/TRTInference/官方部署说明docs/source/references/deployment_code.md 小结这套架构教会我们的三件事先统一表示再谈通用——异构输入的价值在于共享潜在空间而非堆模型量化瓶颈是隐式的对齐器——FSQ 让不同编码器的输出被迫说同一种语言单解码器 知识复用——运动技能只学一次任何新输入接入编码器即可使用。正是这多编码器 单一解码器的 Universal Token 设计让 GR00T-WholeBodyControl 用一个 50 Hz 控制器同时支撑动作跟踪、VR 遥操作与 VLA 数据收集成为其人形机器人控制器生态的基石。【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考