从零搭建 NERO 单臂具身智能闭环：Isaac Lab/Sim + RLinf + LeRobot v3 + π0.5 VLA + DreamZero WAM，从零样本仿真到真机微调部署

Isaac Sim + Isaac Lab= NERO 数字孪生、遥操作、仿真评测、仿真数据生成RLinf= VLA/WAM 训练、后续 SFT / DAgger / RLLeRobotDataset v3= 仿真数据和真机数据的唯一标准格式π0.5= 第一条 VLA 主线DreamZero + Wan2.2-TI2V-5B= 第二条 WAM 主线NERO 7DoF + AgileX 两指夹爪= 真机本体第一个任务固定为：抓取红色方块并放入绿色托盘（Red Cube Pick-and-Place）先说最重要的结论：截至现在，我没有找到一个公开的“单臂 NERO + 原厂夹爪 + 红方块 Pick-and-Place”π0.5 或 DreamZero checkpoint 可以下载后完全零配置直接成功。π0.5 已经有 NERO 双臂真实 checkpoint、RoboTwin NERO π0.5 工作流，以及社区的 AgileX 7DoF 单臂 π0.5 训练案例，所以它是目前距离 NERO 最近的 VLA。DreamZero 当前 RLinf 原生支持的是libero_sim、oxe_droid、franka_pnp，NERO 仍需要一次性的nero_pnp本体注册。这个一次性注册不是模型微调，但目前无法诚实地完全消掉。turn160686view0下面按实际实施顺序展开。一、先把整个闭环定义清楚最终你要得到的不是“一个会抓方块的模型”，而是下面这套系统：RTX 6000 PRO 96GB ┌──────────────────────────────────────────────────────────────┐ │ │ │ Isaac Sim / Isaac Lab │ │ │ │ │ ├─ NERO + Gripper 数字孪生 │ │ ├─ Red Cube + Green Tray │ │ ├─ Front Camera + Wrist Camera │ │ ├─ SpaceMouse Teleoperation │ │ ├─ Simulation Evaluation │ │ └─ Simulation Data │ │ │ │ │ ▼ │ │ LeRobotDataset v3 │ │ │ │ │ ┌──────────┴───────────┐ │ │ ▼ ▼ │ │ RLinf + π0.5 RLinf + DreamZero │ │ VLA WAM │ │ │ │ │ │ └──────────┬───────────┘ │ │ ▼ │ │ Policy Service │ └─────────────────────┬────────────────────────────────────────┘ │ Ethernet / Wi-Fi │ ┌──────────────┴──────────────┐ │ │ ▼ ▼ Isaac Sim Client NERO Real Client │ │ │ Safety / IK / Filter │ │ ▼ ▼ Virtual NERO pyAgxArm / ROS2 │ ▼ NERO + Gripper │ ▼ Real LeRobot v3 │ └────→ RLinf 再训练因此真正的数据飞轮是：BaseModel→SimBaseline→RealBaseline→Dsim+Dreal→SFT→SimEval→RealEval→FailureData→SFT/RL→⋯\text{Base Model}\rightarrow\text{Sim Baseline}\rightarrow\text{Real Baseline}\rightarrow D_{sim}+D_{real}\rightarrow\text{SFT}\rightarrow\text{Sim Eval}\rightarrow\text{Real Eval}\rightarrow\text{Failure Data}\rightarrow\text{SFT/RL}\rightarrow\cdotsBaseModel→SimBaseline→RealBaseline→Dsim​+Dreal​→SFT→SimEval→RealEval→FailureData→SFT/RL→⋯二、第一模型为什么选 π0.5我现在仍然建议把第一条主线锁死为：π0.5（Pi Zero Point Five）原因不是它一定是最强，而是它和你的软件栈最匹配。RLinf 当前已经原生支持π0.5 + SFT + PPO + DAgger + RoboTwin。RoboTwin 的 RLinf 配置已经有π0.5 + PPO，RLinf 也提供 OpenPI 的 SFT、归一化统计以及自定义数据配置机制。更重要的是，NERO 已经出现了真实社区生态：NERO 双臂 π0.5 checkpoint；253 条 NERO 双臂遥操作 episode；NERO RoboTwin + π0.5 远程推理；AgileX 7DoF 单臂 π0.5 LoRA Pick-and-Place 类训练案例。turn630499view0所以：VLA 主线：π0.5。不要第一版同时尝试 OpenVLA、SmolVLA、GR00T、π0、π0.5 五套模型。三、WAM 选 DreamZero，但放在第二阶段我建议：DreamZero + Wan2.2-TI2V-5B作为你的世界动作模型（World Action Model, WAM）主线。RLinf 已经把 DreamZero 纳入统一 SFT 框架，直接支持 LeRobot v2/v3 数据，支持 Wan2.1 14B 和 Wan2.2 5B，并已经提供 Franka Pick-and-Place 真机链路。为什么选 5B 而不是 14B？因为你的目标是学习闭环，而不是复制论文训练规模。5B：迭代快得多；96GB 显存更合理；Debug 更容易；RLinf 已有 5B 训练配置和 checkpoint；可以先做 LoRA / 小规模 SFT。DreamZero 官方已经公开新本体训练指南，并表示用约 30 分钟新机器人的 play data 就可以做 few-shot adaptation；同时也明确说明，新机器人必须注册新的 embodiment 和 modality 配置。所以：WAM 主线：DreamZero 5B。但它应该在 π0.5 闭环跑通后再上。四、最关键的设计：Sim 和 Real 必须使用完全一样的 Policy 接口从项目第一天开始，你就要禁止出现下面这种情况：仿真用 Cartesian Action，真机用 Joint Action。或者：仿真两个相机，真机三个相机。这会直接把后面的 Sim-to-Real 搞乱。我建议统一成下面这个接口。Observation使用两个 RGB：It={ Itfront,Itwrist}I_t=\{I_t^{front},I_t^{wrist}\}It​={Itfront​,Itwrist​}机器人状态：st=[q1,q2,q3,q4,q5,q6,q7,g]s_t=[q_1,q_2,q_3,q_4,q_5,q_6,q_7,g]st​=[q1​,q2​,q3​,q4​,q5​,q6​,q7​,g]因此：dim⁡(st)=8\dim(s_t)=8dim(st​)=8其中ggg是夹爪状态。语言：Pick up the red cube and place it in the green tray.第一阶段不要把 Depth 输入 VLA/WAM。深度可以在外围用于：标定；Safety；Debug；传统视觉；6D Pose。但不要第一天增加输入维度。五、Action 建议使用 7 维末端增量，不直接让 VLA 学 7 个关节这里我对之前的方案做一个优化。对于你的单臂 NERO，第一版更推荐：at=[Δx,Δy,Δz,Δrx,Δry,Δrz,g]a_t=[\Delta x,\Delta y,\Delta z,\Delta r_x,\Delta r_y,\Delta r_z,g]at​=[Δx,Δy,Δz,Δrx​,Δry​,Δrz​,g]所以：dim⁡(at)=7\dim(a_t)=7dim(at​)=7也就是：末端位姿增量（End-Effector Delta Pose）夹爪（Gripper）。原因有四个。第一，SpaceMouse 天生输出的就是SE(3)SE(3)SE(3)增量。第二，Isaac Lab 的 NERO Teleop 当前就是通过差分逆运动学（Differential Inverse Kinematics）做这一层。AgileX 公开的 NERO Isaac Lab 教程已经完成了 NERO + Gripper + Differential IK + Teleop + Pick-and-Place。turn142395view2第三，NERO 是 7DoF 冗余机械臂，最好让 IK / Null-space Controller 决定第 7 自由度，而不是要求 VLA 每次学会如何摆肘。第四，社区已经有一个 AgileX 7DoF 单臂 π0.5 案例，其实际 Action Dimension 为 7，任务同样属于 Pick-and-Place 类操作；虽然该 fork 没明确写“NERO”，我把它当作单臂配置参考，而不是官方 NERO checkpoint。所以真机路径是：VLA→ΔTEEF→IK→q1:7target→NERO\text{VLA}\rightarrow\Delta T_{EEF}\rightarrow\text{IK}\rightarrow q_{1:7}^{target}\rightarrow\text{NERO}VLA→ΔTEEF​→IK→q1:7target​→NERO这样以后换机器人，本体差异主要留在 IK 层。六、控制频率也提前统一第一版建议：Policy Frequency：10 Hz每：100ms100\text{ ms}100ms形成一个 observation。VLA 输出一个 Action Chunk：At=[at,at+1,…,at+H−1]A_t=[a_t,a_{t+1},\ldots,a_{t+H-1}]At​=[at​,at+1​,…,at+H−1​]π0.5 常见 Action Horizon 可以设：H=50H=50H=50但真机不要一次执行 50 步。第一版采用滚动时域控制（Receding Horizon Control）：预测 50 步，只执行前：K=3∼5K=3\sim5K=3∼5步。然后重新观察、重新推理。也就是：Observe→Predict50→Execute5→Observe→⋯\text{Observe}\rightarrow\text{Predict 50}\rightarrow\text{Execute 5}\rightarrow\text{Observe}\rightarrow\cdotsObserve→Predict50→Execute5→Observe→⋯OpenPI 官方远程推理文档本身就是 Action Chunk 设计，并建议一次预测后只执行其中一部分动作，然后再次调用策略。七、服务器和机械臂端的软件环境不要混装建议 RTX 服务器至少保持三个独立环境：RTX6000PRO │ ├── isaac_env │ └── Isaac Sim / Isaac Lab / NERO │ ├── rlinf_openpi_env │ └── RLinf + OpenPI + LeRobot │ └── rlinf_dreamzero_env └── RLinf + DreamZero + LeRobot不要试图：pip install IsaacLab RLinf OpenPI DreamZero ROS2全部塞进同一个 Conda 环境。对于具身初学者，依赖冲突的时间可能比模型训练时间还多。八、必须收藏的代码库用途仓库RLinfurlRLinf 官方仓库https://github.com/RLinf/RLinfπ0.5 / OpenPIurlPhysical Intelligence OpenPIhttps://github.com/Physical-Intelligence/openpiDreamZerourlDreamZero 官方仓库https://github.com/dreamzero0/dreamzeroRLinf DreamZero forkurlRLinf DreamZerohttps://github.com/RLinf/dreamzeroLeRoboturlHugging Face LeRobothttps://github.com/huggingface/lerobotNERO URDFurlAgileX NERO URDFhttps://github.com/agilexrobotics/agx_arm_urdfNERO 真机 SDKurlpyAgxArmhttps://github.com/agilexrobotics/pyAgxArmNERO ROS2urlagx_arm_roshttps://github.com/agilexrobotics/agx_arm_rosNERO Isaac Lab TeleopurlIsaacLab Data Collection NERO/PiPERhttps://github.com/szyzp/IsaacLab_Data_CollectionNERO π0.5 社区工作流urlRoboTwin NERO π0.5 forkhttps://github.com/qitian0601/RoboTwinAgileX 官方已经提供 NERO 的 URDF/Xacro，包括原厂 Gripper；pyAgxArm支持 NERO 和 AgxGripper 的 CAN 通信、状态读取和运动控制。九、第一阶段：安装 NERO 的 Isaac Sim / Isaac Lab这里不要自己从零建 NERO。AgileX 已有公开教程把：NEROURDF→USD→IsaacLabArticulation\text{NERO URDF}\rightarrow\text{USD}\rightarrow\text{Isaac Lab Articulation}NEROURDF→USD→IsaacLabArticulation完整走了一遍，并已经注册了：Isaac-Stack-Cube-Nero-IK-Rel-v0这个环境。turn142395view2第一步先把 NERO + Gripper 的 URDF 转 USD：python../IsaacLab/scripts/tools/convert_urdf.py\/path/to/nero_gripper.urdf\/path/to/nero.usd\--fix-base这是 NERO 教程给出的标准流程。然后先运行现有 NERO Stack 环境。你的第一个验收不是 AI：NERO 七个轴正常；Gripper 正常；不抖；不爆炸；Collision 正常。十、第二阶段：先用 SpaceMouse 完成手动抓取已有 NERO Isaac Lab 项目支持：keyboard；SpaceMouse；hand tracking。现成命令逻辑类似：python scripts/tools/record_demos.py\--taskIsaac-Stack-Cube-Nero-IK-Rel-v0\--devicecpu\--teleop_devicespacemouse\--dataset_file./datasets/nero_demo.hdf5\--num_demos10AgileX 发布的 NERO 教程已经跑通遥操作、HDF5 数据记录和 replay。turn142395view2先采 10 条。然后 Replay：python scripts/tools/replay_demos.py\--taskIsaac-Stack-Cube-Nero-IK-Rel-v0\--devicecpu\--dataset_file./datasets/nero_demo.hdf5目标：10 条能 100% 正确 replay。这一步没通过，禁止训练 VLA。十一、把任务改成最简单的 Red Cube Pick-and-Place不要一开始做三块堆叠。环境只留：Front RGB ↓ ┌──────────────────────────┐ │ │ │ ■ Red Cube │ │ │ │ ▭ │ │ Green Tray │ │ │ │ NERO │ └──────────────────────────┘ ↑ Wrist RGB建议：红方块尺寸：4∼5cm4\sim5\text{ cm}4∼5cm绿色 Tray 初始做大一些，例如：12∼15cm12\sim15\text{ cm}12∼15cm第一版只随机 Cube / Tray 的平面位置：Δx,Δy∈[−3,3]cm\Delta x,\Delta y\in[-3,3]\text{ cm}Δx,Δy∈[−3,3]cm暂时不随机：相机；背景；光照；摩擦；质量。任务拆成六阶段：Reach→Grasp→Lift→Transport→Place→Release\text{Reach}\rightarrow\text{Grasp}\rightarrow\text{Lift}\rightarrow\text{Transport}\rightarrow\text{Place}\rightarrow\text{Release}Reach→Grasp→Lift→Transport→Place→Release十二、成功条件不要只定义成一个 bool至少记录六个指标：指标定义Reach Success末端进入 Cube 邻域Grasp SuccessCube 被夹住Lift SuccessCube 离桌Transport SuccessCube 到 Tray 上方Place SuccessCube 落进 TrayTask Success放置成功且夹爪释放最终成功可定义：∥pcube−ptray∥2ϵ\lVert p_{cube}-p_{tray}\rVert_2\epsilon∥pcube​−ptray​∥2​ϵ例如：ϵ=0.03m\epsilon=0.03\text{ m}ϵ=