LeRobot数据集制作完全指南：3步打造可训练的机器人学习数据

LeRobot数据集制作完全指南3步打造可训练的机器人学习数据【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot想给机械臂喂数据训练策略却不知道 LeRobot 数据集该怎么组织LeRobot 是 Hugging Face 推出的机器人端到端学习框架其核心 LeRobotDataset 格式用「Parquet MP4/图像」把观测、动作、元数据统一管理让采集、编辑、训练、可视化一气呵成。本指南面向新手带你走通「为什么标准化 → 格式里有什么 → 怎么上手制作 → 如何避坑」的完整链路让你第一份数据集就能直接喂给训练脚本。为什么你的机器人数据需要一套标准格式机器人学习的数据很「碎」摄像头拍到的是视频帧关节编码器吐出的是高频数值还有任务描述、时间戳、成功与否等杂项。散落在不同格式里训练时对齐时间、切分样本都很痛苦。LeRobot 的思路是把所有来源的数据收敛到 LeRobotDataset 这一种标准格式一个加载入口LeRobotDataset读任意仓库或本地目录直接返回 PyTorch 张量能无缝接DataLoader一套存储规范视觉走 MP4 视频或图像状态/动作走 Parquet元数据走 JSON/Parquet一批编辑工具删集数、切分、合并、改任务描述都有现成命令不用手写脚本对新手来说最大收益是你只管按规范录制后续训练、流式读取、可视化都不用再操心数据对齐。格式设计细节可参考 LeRobotDataset v3 文档。LeRobotDataset 的三根支柱数据到底存在哪把一个数据集想象成「三个抽屉」各放一类东西抽屉存什么格式表格数据关节状态、动作、时间戳等低维高频信号Apache Parquet视觉数据多摄像头画面按 episode 拼接后分片编码MP4 视频或图像元数据特征 schema、帧率、归一化统计量、episode 起止偏移JSON / Parquet简化后的目录结构是这样的meta/info.jsonschema 与路径模板是数据集的「目录页」meta/stats.json全局均值/标准差等统计量训练时归一化直接用meta/tasks.jsonl自然语言任务描述 → 整数 ID 的映射meta/episodes/每个 episode 的长度、任务、在共享文件中的偏移data/逐帧 Parquet 分片一个文件装多个 episodevideos/每个摄像头一条 MP4 分片流v3 格式的关键升级是「文件级存储 关系型元数据」多个 episode 拼进同一大文件靠元数据还原每个 episode 的边界。文件更少更整初始化更快规模上去后也不容易卡。上面展示的是 LeRobot 支持的机械臂在统一Robot接口下的操控效果——录制数据集时你操作的就是这套硬件抽象。上手第一步用lerobot-record录制第一份数据集没有硬件先跑通流程比什么都重要。有硬件的话录制一步到位lerobot-record \ --robot.typeso101_follower \ --robot.port/dev/tty.usbmodemXXXX \ --teleop.typeso101_leader \ --teleop.port/dev/tty.usbmodemYYYY \ --dataset.repo_id你的用户名/my-dataset \ --dataset.num_episodes5 \ --dataset.single_taskGrab the black cube要点拆解先校准再录制lerobot-teleoperate会自动检测缺失的校准并引导你完成校准文件按robot.id归档后续遥操作、录制、评估请用同一个id任务描述写清楚single_task会成为条件化策略的提示词像「抓起黑色方块」这样具体可执行多摄像头就配多路--robot.cameras支持传字典一路前置加一路顶视是常见组合流式编码--dataset.streaming_encodingtrue可在录制时就边录边编码视频省磁盘压力录完得到的是标准 LeRobotDataset可以直接推到 Hub 共享也可以留在本地训练。完整命令与参数说明见 真实机器人模仿学习教程。SO-100 这类低成本机械臂配合主从臂遥操作是最常见的入门采集组合一只手操纵主臂从臂跟着学数据自动进数据集。上手第二步清洗、切分与质检录完 5 个 episode 只是开始真正可用往往要经过「编辑 校验」清洗坏掉的集数直接删支持删完另存新库、原库不动lerobot-edit-dataset \ --repo_id 你的用户名/my-dataset \ --new_repo_id 你的用户名/my-dataset_clean \ --operation.type delete_episodes \ --operation.episode_indices [1, 3]切分按 6:2:2 拆训练/验证/测试或按集数划分任务组lerobot-edit-dataset \ --repo_id 你的用户名/my-dataset_clean \ --operation.type split \ --operation.splits {train: 0.6, val: 0.2, test: 0.2}合并多轮采集的数据集特征一致时可merge成一个更大的库修正任务标签打错字的任务描述用modify_tasks原地改支持按集数重标、批量替换校验用lerobot-info看数据集概要episode 数、特征、时长再抽几帧确认画面与关节状态对得上。所有编辑操作的完整参数见 数据集工具指南API 写法示例在 examples/dataset/use_dataset_tools.py。避坑指南新手最常踩的4个坑图像编码不统一一路 1080p 一路 640x480 混着录训练时归一化尺寸会打架。建议同一数据集内所有摄像头分辨率、帧率保持一致动作空间没归一化数据集自带meta/stats.json统计量训练配置里开启归一化即可如果统计量是旧版本算的用 augment_dataset_quantile_stats.py 补齐时间对齐靠手动别自己拼 CSV 和视频。走lerobot-record统一采集时间戳由框架保证对齐需要「过去几帧」的时序窗口时加载时传delta_timestamps即可episode 粒度过大一个 episode 里混多种任务任务条件化会失效。一个 episode 只做一个动作任务描述单一明确另外提醒数据集一旦推上 Hub 就是「只读资产」心态——大改动前先split或另存新库别在原始库上反复删改。从数据集到会动的手臂完整工作流一览最后把全链路串起来每一步都有对应命令采集lerobot-teleoperate校准 →lerobot-record录制加工lerobot-edit-dataset删/切/合/改标签检查lerobot-info看概要可视化抽查帧训练lerobot-train --policy.typeact --dataset.repo_id你的用户名/my-dataset评估lerobot-eval在 LIBERO、MetaWorld 等仿真基准或真机上跑成功率数据、策略、评估三位一体之后你就拥有了一个可复用的机器人学习管线换任务重录数据、换策略重训、换平台重评估数据集格式始终不变。想深入某个环节从 官方文档 找对应章节即可。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考