【免费下载链接】rho-fr3-duo项目地址https://ai.gitcode.com/hf_mirrors/microsoft/rho-fr3-duo点击查看免费下载rho-fr3-duo是微软开源的机器人操作策略模型robot policy采用「视觉语言模型 VLM 动作专家 Action Expert」的 Flow Matching 架构约 10.5GB 的权重在 68000 步训练后保存而成。读懂 policy.json 中的训练配置是复现和二次微调这个模型的第一步——本文将 40 多个关键超参数分成 5 组带你一次看懂这份机器人策略模型训练配置。policy.json 是什么先认识 5 个配置文件在动手读超参数之前先理清仓库里几个 JSON 的分工它们共同构成模型的「出厂说明书」文件作用类比policy.json模型结构 优化器 学习率调度等训练配置快照训练时的「配方表」features.json输入/输出的模态与形状3 张 256×256 图像、20 维动作、20 维状态模型的「接口清单」data_config.json数据加载、归一化、相机映射、数据增广厨房的「备菜规则」stats.json动作/状态的分位数统计量归一化时要用量尺manifest.json格式版本rho v1、训练步数 68000、权重分片信息出厂铭牌权重本身分 3 个分片存放model-00001-of-00003.safetensors 等具体张量归属可查 model.safetensors.index.json其中vlm_backbone约 647 个张量、action_expert约 301 个张量正好对应 policy.json 里描述的两大部分结构。模型结构超参数embed_dim、num_blocks 等怎么读打开 policy.json#L31-L56第一组「结构参数」决定了动作专家的规模参数取值通俗解读embed_dim2048动作专家的内部维度隐藏层宽度num_blocks12动作专家的 Transformer 层数num_heads16自注意头的数量ff_dim4096前馈网络宽度是 embed_dim 的 2 倍gqa_groups4分组查询注意力GQA16 个 Q 头共享 4 组 KV省显存max_seq_len6144图像 语言 token 的最大序列长度attention_implementationflash_attention_2用 FlashAttention-2 加速省显存的关键开关attention_typecross动作专家通过交叉注意力「读」VLM 的表征norm/adaln_mode/adaln_lora_rankadaptive / shared / 256自适应层归一化DiT 风格用共享的低秩 LoRA 生成调制参数hidden_state_idx/vlm_layer_select14 / last动作专家从 VLM 第 14 层隐状态取信息并关注最后一层 读法提示cross_attention_dim为null表示交叉注意力直接复用embed_dim不必额外配置kv_pos_encoding: true表示 KV 侧带位置编码。动作与观测超参数chunk_size、n_action_steps 详解机器人策略的「视野」由这一组参数决定policy.json#L38-L42参数取值含义chunk_size50处理的动作序列总长度n_action_steps25每次推理要预测的动作步数一次输出 25 步动作n_obs_steps1只基于当前 1 帧观测决策max_state_dim/max_action_dim32 / 32预留的最大状态/动作维度上限resize_imgs_with_padding[256, 256]图像统一缩放到 256×256带 padding配合 features.json 看就一目了然模型实际吃进 3 张 3×256×256 的图主视角 左右腕部相机、20 维状态和 20 维动作。20 维正好是双臂配置左臂 3 位置 6D 旋转 夹爪右臂同理共 99220——这就是 duo双臂的含义。Flow Matching 采样参数num_steps 与 time_sampling_strategy这是本模型最有特色的部分policy.json#L43-L44、policy.json#L70-L72num_steps: 10—— 推理时 Flow Matching 的去噪/积分步数步数越多动作越精细、速度越慢num_flow_samples: 8—— 采样时生成的 flow 样本数用于提升动作多样性与稳定性time_sampling_strategy: beta—— 训练时按 Beta 分布采样时间步 t让模型在整条噪声轨迹上均匀学习pos_emb_method: sinusoidal—— 时间步 t 用正弦编码注入网络。 新手常问「为什么机器人动作不是预测一个点而是流」——Flow Matching 建模的是动作分布能输出平滑、连续的动作轨迹比单点回归更适合机械臂控制。优化器与学习率注意两套配置的区别policy.json 里存在两套优化器参数这是最容易被读晕的地方嵌套块policy.json#L6-L25lr_schedulerwarmup_stable_decay类型1000 步预热峰值学习率 1e-4衰减 15000 步后降到 1e-5optimizerAdamWlr: 1e-6weight_decay: 0.1梯度裁剪grad_clip_norm: 10.0。扁平键policy.json#L59-L69参数取值说明optimizer_lr1e-6VLM 主干用的基础学习率很小防止破坏预训练能力optimizer_lr_action_expert1e-4动作专家专用学习率大 100 倍因为它是新模块scheduler_warmup_steps1000预热步数scheduler_decay_steps30000衰减阶段总步数与嵌套块的 15000 不一致scheduler_decay_lr2.5e-6衰减终点学习率⚙️ 结论嵌套块更像「模板默认值」扁平键与训练脚本一一对应、才是实际生效的配置。复现训练时优先以扁平键为准并留意「VLM 小学习率 专家大学习率」这种分组学习率设计——它让预训练知识基本不动只快速教会新动作头。冻结策略与显存优化freeze 和 gradient_checkpointing这组开关policy.json#L54-L58决定了「训谁、不训谁」参数取值含义freeze_vlm_backbonefalseVLM 主干参与训练freeze_vision_encoder/freeze_language_modelfalse视觉编码器、语言模型都不冻结train_expert_onlyfalse不是只训动作专家的模式enable_gradient_checkpointingtrue用重算换显存大模型训练的标配dropout_p0.110% 丢弃率防过拟合pretrained_repo_idmicrosoft/rho-base本模型基于 rho-base 继续训练而来device/dtypecuda / bfloat16GPU 上以 bf16 混合精度训练另外log_hidden_state_stats: true表示训练时会记录隐状态统计量对应 stats.json 中大量的分位数数据便于诊断与归一化对齐。配套配置文件速览data_config.json 里的数据侧约定光看 policy.json 还不够data_config.json 补充了数据流水线细节批大小batch_size: 648 个数据加载 workerprefetch_factor: 2归一化策略normalization_mapping动作用ACTIONCHUNK_QUANTILE、状态用QUANTILE分位数归一化由 stats.json 提供图像保持原值IDENTITY状态额外裁剪到 ±1.05动作表示transform_mapping动作用EE_6D_POS末端 6D 位姿并做delta_actions变换——relative_to_state: true表示动作相对当前状态给出夹爪用绝对值相机映射observation_mapping主视角 →observation.image.0左右腕相机 →image.1/2语言指令 →task数据增广三张图都做 224×224 缩放 亮度/对比度/饱和度/色调抖动color_jitter训练模式training_mode: ROBOT_FLOWMATCH与上面的 Flow Matching 参数呼应。新手速查最常调整的 5 个超参数如果你想微调自己的数据优先动这几个按「影响/风险」从高到低n_action_stepspolicy.json 第 40 行—— 动作块长度要与控制频率和任务时长匹配optimizer_lr_action_expert—— 专家学习率调大收敛快但易震荡chunk_size/max_seq_len—— 上下文长度改大显存占用明显增加resize_imgs_with_padding data_config 里的相机分辨率 —— 图像输入尺寸两处需一致freeze_vlm_backbone—— 显存不够时先冻结主干只训动作专家配合train_expert_only: true。✅ 读配置的正确姿势先按「结构 → 动作/观测 → 生成器 → 优化器 → 冻结策略」五组过一遍 policy.json再对照 features.json 确认输入输出形状最后用 data_config.json 核对数据流水线——三个文件对得上配置就算真正读懂了。赞分享【免费下载链接】rho-fr3-duo项目地址https://ai.gitcode.com/hf_mirrors/microsoft/rho-fr3-duo点击查看免费下载相关推荐SDLLM-Duo-1.7B-Base 训练流水线拆解2.1T Token 数据配方、Lightning 训练框架与关键超参数清单SDLLM Duo 1.7B Base 训练流水线拆解2.1T Token 数据配方、Lightning 训练框架与关键超参数清单 SDLLM Duo 1.7LingBot-VLA训练配置完全参考每个关键超参数背后的工程决策LingBot VLA训练配置完全参考每个关键超参数背后的工程决策 LingBot VLA 是一个务实的视觉 语言 动作VLA基础模型依托 200如何训练自己的ELF模型训练配置与关键超参数完全指南如何训练自己的ELF模型训练配置与关键超参数完全指南 想在 TPU 上从零训练一个 ELF 连续扩散语言模型只需要一条 train.py 命令和一份 YAM上一篇Onyx 使用报告Usage Reports设计全解决策驱动的指标、ReportLab PDF 与知识缺口报告下一篇LeetCode 225 题解用队列实现栈Implement Stack using Queues——Go 双队列实现与测试解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】rho-fr3-duo项目地址https://ai.gitcode.com/hf_mirrors/microsoft/rho-fr3-duo点击查看免费下载rho-fr3-duo是微软开源的机器人操作策略模型robot policy采用「视觉语言模型 VLM 动作专家 Action Expert」的 Flow Matching 架构约 10.5GB 的权重在 68000 步训练后保存而成。读懂 policy.json 中的训练配置是复现和二次微调这个模型的第一步——本文将 40 多个关键超参数分成 5 组带你一次看懂这份机器人策略模型训练配置。policy.json 是什么先认识 5 个配置文件在动手读超参数之前先理清仓库里几个 JSON 的分工它们共同构成模型的「出厂说明书」文件作用类比policy.json模型结构 优化器 学习率调度等训练配置快照训练时的「配方表」features.json输入/输出的模态与形状3 张 256×256 图像、20 维动作、20 维状态模型的「接口清单」data_config.json数据加载、归一化、相机映射、数据增广厨房的「备菜规则」stats.json动作/状态的分位数统计量归一化时要用量尺manifest.json格式版本rho v1、训练步数 68000、权重分片信息出厂铭牌权重本身分 3 个分片存放model-00001-of-00003.safetensors 等具体张量归属可查 model.safetensors.index.json其中vlm_backbone约 647 个张量、action_expert约 301 个张量正好对应 policy.json 里描述的两大部分结构。模型结构超参数embed_dim、num_blocks 等怎么读打开 policy.json#L31-L56第一组「结构参数」决定了动作专家的规模参数取值通俗解读embed_dim2048动作专家的内部维度隐藏层宽度num_blocks12动作专家的 Transformer 层数num_heads16自注意头的数量ff_dim4096前馈网络宽度是 embed_dim 的 2 倍gqa_groups4分组查询注意力GQA16 个 Q 头共享 4 组 KV省显存max_seq_len6144图像 语言 token 的最大序列长度attention_implementationflash_attention_2用 FlashAttention-2 加速省显存的关键开关attention_typecross动作专家通过交叉注意力「读」VLM 的表征norm/adaln_mode/adaln_lora_rankadaptive / shared / 256自适应层归一化DiT 风格用共享的低秩 LoRA 生成调制参数hidden_state_idx/vlm_layer_select14 / last动作专家从 VLM 第 14 层隐状态取信息并关注最后一层 读法提示cross_attention_dim为null表示交叉注意力直接复用embed_dim不必额外配置kv_pos_encoding: true表示 KV 侧带位置编码。动作与观测超参数chunk_size、n_action_steps 详解机器人策略的「视野」由这一组参数决定policy.json#L38-L42参数取值含义chunk_size50处理的动作序列总长度n_action_steps25每次推理要预测的动作步数一次输出 25 步动作n_obs_steps1只基于当前 1 帧观测决策max_state_dim/max_action_dim32 / 32预留的最大状态/动作维度上限resize_imgs_with_padding[256, 256]图像统一缩放到 256×256带 padding配合 features.json 看就一目了然模型实际吃进 3 张 3×256×256 的图主视角 左右腕部相机、20 维状态和 20 维动作。20 维正好是双臂配置左臂 3 位置 6D 旋转 夹爪右臂同理共 99220——这就是 duo双臂的含义。Flow Matching 采样参数num_steps 与 time_sampling_strategy这是本模型最有特色的部分policy.json#L43-L44、policy.json#L70-L72num_steps: 10—— 推理时 Flow Matching 的去噪/积分步数步数越多动作越精细、速度越慢num_flow_samples: 8—— 采样时生成的 flow 样本数用于提升动作多样性与稳定性time_sampling_strategy: beta—— 训练时按 Beta 分布采样时间步 t让模型在整条噪声轨迹上均匀学习pos_emb_method: sinusoidal—— 时间步 t 用正弦编码注入网络。 新手常问「为什么机器人动作不是预测一个点而是流」——Flow Matching 建模的是动作分布能输出平滑、连续的动作轨迹比单点回归更适合机械臂控制。优化器与学习率注意两套配置的区别policy.json 里存在两套优化器参数这是最容易被读晕的地方嵌套块policy.json#L6-L25lr_schedulerwarmup_stable_decay类型1000 步预热峰值学习率 1e-4衰减 15000 步后降到 1e-5optimizerAdamWlr: 1e-6weight_decay: 0.1梯度裁剪grad_clip_norm: 10.0。扁平键policy.json#L59-L69参数取值说明optimizer_lr1e-6VLM 主干用的基础学习率很小防止破坏预训练能力optimizer_lr_action_expert1e-4动作专家专用学习率大 100 倍因为它是新模块scheduler_warmup_steps1000预热步数scheduler_decay_steps30000衰减阶段总步数与嵌套块的 15000 不一致scheduler_decay_lr2.5e-6衰减终点学习率⚙️ 结论嵌套块更像「模板默认值」扁平键与训练脚本一一对应、才是实际生效的配置。复现训练时优先以扁平键为准并留意「VLM 小学习率 专家大学习率」这种分组学习率设计——它让预训练知识基本不动只快速教会新动作头。冻结策略与显存优化freeze 和 gradient_checkpointing这组开关policy.json#L54-L58决定了「训谁、不训谁」参数取值含义freeze_vlm_backbonefalseVLM 主干参与训练freeze_vision_encoder/freeze_language_modelfalse视觉编码器、语言模型都不冻结train_expert_onlyfalse不是只训动作专家的模式enable_gradient_checkpointingtrue用重算换显存大模型训练的标配dropout_p0.110% 丢弃率防过拟合pretrained_repo_idmicrosoft/rho-base本模型基于 rho-base 继续训练而来device/dtypecuda / bfloat16GPU 上以 bf16 混合精度训练另外log_hidden_state_stats: true表示训练时会记录隐状态统计量对应 stats.json 中大量的分位数数据便于诊断与归一化对齐。配套配置文件速览data_config.json 里的数据侧约定光看 policy.json 还不够data_config.json 补充了数据流水线细节批大小batch_size: 648 个数据加载 workerprefetch_factor: 2归一化策略normalization_mapping动作用ACTIONCHUNK_QUANTILE、状态用QUANTILE分位数归一化由 stats.json 提供图像保持原值IDENTITY状态额外裁剪到 ±1.05动作表示transform_mapping动作用EE_6D_POS末端 6D 位姿并做delta_actions变换——relative_to_state: true表示动作相对当前状态给出夹爪用绝对值相机映射observation_mapping主视角 →observation.image.0左右腕相机 →image.1/2语言指令 →task数据增广三张图都做 224×224 缩放 亮度/对比度/饱和度/色调抖动color_jitter训练模式training_mode: ROBOT_FLOWMATCH与上面的 Flow Matching 参数呼应。新手速查最常调整的 5 个超参数如果你想微调自己的数据优先动这几个按「影响/风险」从高到低n_action_stepspolicy.json 第 40 行—— 动作块长度要与控制频率和任务时长匹配optimizer_lr_action_expert—— 专家学习率调大收敛快但易震荡chunk_size/max_seq_len—— 上下文长度改大显存占用明显增加resize_imgs_with_padding data_config 里的相机分辨率 —— 图像输入尺寸两处需一致freeze_vlm_backbone—— 显存不够时先冻结主干只训动作专家配合train_expert_only: true。✅ 读配置的正确姿势先按「结构 → 动作/观测 → 生成器 → 优化器 → 冻结策略」五组过一遍 policy.json再对照 features.json 确认输入输出形状最后用 data_config.json 核对数据流水线——三个文件对得上配置就算真正读懂了。赞分享【免费下载链接】rho-fr3-duo项目地址https://ai.gitcode.com/hf_mirrors/microsoft/rho-fr3-duo点击查看免费下载相关推荐SDLLM-Duo-1.7B-Base 训练流水线拆解2.1T Token 数据配方、Lightning 训练框架与关键超参数清单SDLLM Duo 1.7B Base 训练流水线拆解2.1T Token 数据配方、Lightning 训练框架与关键超参数清单 SDLLM Duo 1.7LingBot-VLA训练配置完全参考每个关键超参数背后的工程决策LingBot VLA训练配置完全参考每个关键超参数背后的工程决策 LingBot VLA 是一个务实的视觉 语言 动作VLA基础模型依托 200如何训练自己的ELF模型训练配置与关键超参数完全指南如何训练自己的ELF模型训练配置与关键超参数完全指南 想在 TPU 上从零训练一个 ELF 连续扩散语言模型只需要一条 train.py 命令和一份 YAM上一篇Onyx 使用报告Usage Reports设计全解决策驱动的指标、ReportLab PDF 与知识缺口报告下一篇LeetCode 225 题解用队列实现栈Implement Stack using Queues——Go 双队列实现与测试解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
