【免费下载链接】InternVL3_5-14B-HF项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-14B-HF点击查看免费下载InternVL3_5-14B-HF 是 InternVL3.5-14B 开源多模态大模型的 HuggingFace 标准格式检查点15.1B 参数其训练流程由 CPT、SFT、MPO、GSPO 四个阶段依次完成。本文基于仓库中的 README.md 与 config.json带你快速看懂这套训练全景图 ️一、30秒了解这是什么模型InternVL3_5-14B-HF 沿用了 InternVL 系列的 ViT–MLP–LLM 范式图像先由视觉编码器提取特征经 MLP 投影模块压缩后送入语言模型生成文本。组成模块说明视觉编码器InternViT-300M0.3B 参数语言模型Qwen3-14B14.8B 参数动态高分辨率每个图像块压缩为 256 个视觉 token精度bfloat16模型的具体结构可在 config.json 中查看其中text_config对应 Qwen3-14B 语言部分vision_config对应视觉编码器部分。该检查点以InternVL3_5-14B-MPO为基础微调而来见 README.md。二、四阶段训练全景图CPT → SFT → MPO → GSPOInternVL3.5 的训练流程共四个阶段其中后两个阶段合称为CascadeRL级联强化学习采用由粗到细的策略阶段训练方法目标产出的检查点1️⃣ CPT多模态持续预训练打牢多模态基础能力-Pretrained2️⃣ SFT监督微调学会对话与遵循指令-Instruct3️⃣ MPO离线强化学习CascadeRL 前半段偏好对齐稳定收敛-MPO4️⃣ GSPO在线强化学习CascadeRL 后半段精细打磨推理分布最终完整版各阶段的详细设计见 README.md官方还开源了每个阶段的权重供研究使用完整清单在 README.md 的表格中。三、阶段一 CPT多模态持续预训练怎么练CPTContinual Pre-Training阶段联合更新所有模型参数使用大规模文本 多模态语料继续训练损失函数对每个文本 token 计算下一个词预测NTP损失对话样本只对回复部分计算损失平方平均策略用w_i 1/√N对 NTP 损失重新加权避免模型偏向过长或过短的回复随机 JPEG 压缩增强模型对真实世界低质量图像的表现。技术细节见 README.md。完成此阶段后得到-Pretrained检查点。四、阶段二 SFT让模型学会好好说话SFT 阶段沿用与 CPT 相同的训练目标含平方平均策略并把上下文窗口设为32K token以适配长上下文。训练数据来自三类高质量来源指令遵循数据复用 InternVL3 的数据保持视觉-语言任务的广覆盖Thinking 模式推理数据用大模型描述图像后采样出带完整推理过程的回答错误结果会被过滤覆盖数学、科学等专家领域能力扩展数据赋予模型 GUI 交互、具身交互等新技能。数据构造细节见 README.md。此阶段完成后产出-Instruct检查点。五、阶段三与四 CascadeRLMPO 打底 GSPO 精修CascadeRL 是本系列的亮点创新 它把离线 RL 与在线 RL 串成两级用先稳后精的方式大幅节省 GPU 训练成本阶段三MPO 离线强化学习高效热身MPOMixed Preference Optimization的损失是三个分量的加权和偏好损失DPO loss质量损失BCO loss生成损失LM loss离线设定让训练稳定收敛并为下一阶段产出高质量 rollout。阶段四GSPO 在线强化学习精细对齐GSPO 基于模型自身生成的 rollout 进一步打磨输出分布关键特点不依赖参考模型约束重要性采样比取逐 token 比率的几何均值对稠密模型和 MoE 模型都更稳定优势值定义为同一问题下多个采样的归一化奖励类似 GRPO。公式与原理详见 README.md。官方消融实验表明相比单用离线或在线 RL级联策略能以一小部分 GPU 时间取得更显著的推理提升。六、上手验证用红熊猫照片体验训练成果训练完的模型最终沉淀在这个仓库中。下面用仓库自带的示例图片 examples/image1.jpg 试试模型的多模态理解能力使用 transformers 加载检查点的核心代码非常简短需 transformers4.52.1from transformers import AutoTokenizer, AutoModelForImageTextToText model AutoModelForImageTextToText.from_pretrained( OpenGVLab/InternVL3_5-14B-HF, torch_dtypetorch.bfloat16, trust_remote_codeTrue).eval().cuda()生成行为由 generation_config.json 控制对话格式模板见 chat_template.jinja。如需开启Thinking 模式设置官方系统提示词并建议do_sampleTrue、temperature0.6即可让模型先想清楚再作答。七、检查点怎么选 部署小贴士不确定选哪个直接选无后缀的完整版即本仓库它走完了全部四阶段训练做研究复现可按阶段选-Pretrained/-Instruct/-MPO模型权重共 7 个分片参数映射关系见 model.safetensors.index.json分片文件如 model-00001-of-00007.safetensors部署14B 版本单卡 A100 即可运行官方支持 LMDeploy 与 vLLM 两类推理框架HF 格式检查点与官方 transformers API 完全兼容。总结InternVL3_5-14B-HF 的四阶段训练是一条清晰的能力流水线CPT 打底 → SFT 塑型 → MPO 离线对齐 → GSPO 在线精修。CascadeRL 的粗到细设计让强化学习既稳又快这正是它在 MMMU、MathVista 等推理基准上大幅领先的背后原因。读懂这张全景图你就能明白每个阶段检查点的差异并快速判断哪个版本最适合你的场景 赞分享【免费下载链接】InternVL3_5-14B-HF项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-14B-HF点击查看免费下载相关推荐终极美化指南3步打造你的个性化Obsidian知识库终极美化指南3步打造你的个性化Obsidian知识库 还在为Obsidian单调的界面而烦恼吗想象一下你的知识库不仅功能强大还能像艺术品一样美观——这就文档教程知识管理SoundCloud音乐下载终极指南如何用scdl轻松收藏高品质音乐SoundCloud音乐下载终极指南如何用scdl轻松收藏高品质音乐 你是否在SoundCloud上发现了一首惊艳的独立音乐却苦于无法下载保存作为全球最大CLI音频网页爬虫DreamCraft3D训练阶段管理技术深度解析DreamCraft3D训练阶段管理技术深度解析 概述 DreamCraft3D是一种革命性的分层3D内容生成方法通过引导式扩散先验技术实现高质量、一致性强的创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】InternVL3_5-14B-HF项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-14B-HF点击查看免费下载InternVL3_5-14B-HF 是 InternVL3.5-14B 开源多模态大模型的 HuggingFace 标准格式检查点15.1B 参数其训练流程由 CPT、SFT、MPO、GSPO 四个阶段依次完成。本文基于仓库中的 README.md 与 config.json带你快速看懂这套训练全景图 ️一、30秒了解这是什么模型InternVL3_5-14B-HF 沿用了 InternVL 系列的 ViT–MLP–LLM 范式图像先由视觉编码器提取特征经 MLP 投影模块压缩后送入语言模型生成文本。组成模块说明视觉编码器InternViT-300M0.3B 参数语言模型Qwen3-14B14.8B 参数动态高分辨率每个图像块压缩为 256 个视觉 token精度bfloat16模型的具体结构可在 config.json 中查看其中text_config对应 Qwen3-14B 语言部分vision_config对应视觉编码器部分。该检查点以InternVL3_5-14B-MPO为基础微调而来见 README.md。二、四阶段训练全景图CPT → SFT → MPO → GSPOInternVL3.5 的训练流程共四个阶段其中后两个阶段合称为CascadeRL级联强化学习采用由粗到细的策略阶段训练方法目标产出的检查点1️⃣ CPT多模态持续预训练打牢多模态基础能力-Pretrained2️⃣ SFT监督微调学会对话与遵循指令-Instruct3️⃣ MPO离线强化学习CascadeRL 前半段偏好对齐稳定收敛-MPO4️⃣ GSPO在线强化学习CascadeRL 后半段精细打磨推理分布最终完整版各阶段的详细设计见 README.md官方还开源了每个阶段的权重供研究使用完整清单在 README.md 的表格中。三、阶段一 CPT多模态持续预训练怎么练CPTContinual Pre-Training阶段联合更新所有模型参数使用大规模文本 多模态语料继续训练损失函数对每个文本 token 计算下一个词预测NTP损失对话样本只对回复部分计算损失平方平均策略用w_i 1/√N对 NTP 损失重新加权避免模型偏向过长或过短的回复随机 JPEG 压缩增强模型对真实世界低质量图像的表现。技术细节见 README.md。完成此阶段后得到-Pretrained检查点。四、阶段二 SFT让模型学会好好说话SFT 阶段沿用与 CPT 相同的训练目标含平方平均策略并把上下文窗口设为32K token以适配长上下文。训练数据来自三类高质量来源指令遵循数据复用 InternVL3 的数据保持视觉-语言任务的广覆盖Thinking 模式推理数据用大模型描述图像后采样出带完整推理过程的回答错误结果会被过滤覆盖数学、科学等专家领域能力扩展数据赋予模型 GUI 交互、具身交互等新技能。数据构造细节见 README.md。此阶段完成后产出-Instruct检查点。五、阶段三与四 CascadeRLMPO 打底 GSPO 精修CascadeRL 是本系列的亮点创新 它把离线 RL 与在线 RL 串成两级用先稳后精的方式大幅节省 GPU 训练成本阶段三MPO 离线强化学习高效热身MPOMixed Preference Optimization的损失是三个分量的加权和偏好损失DPO loss质量损失BCO loss生成损失LM loss离线设定让训练稳定收敛并为下一阶段产出高质量 rollout。阶段四GSPO 在线强化学习精细对齐GSPO 基于模型自身生成的 rollout 进一步打磨输出分布关键特点不依赖参考模型约束重要性采样比取逐 token 比率的几何均值对稠密模型和 MoE 模型都更稳定优势值定义为同一问题下多个采样的归一化奖励类似 GRPO。公式与原理详见 README.md。官方消融实验表明相比单用离线或在线 RL级联策略能以一小部分 GPU 时间取得更显著的推理提升。六、上手验证用红熊猫照片体验训练成果训练完的模型最终沉淀在这个仓库中。下面用仓库自带的示例图片 examples/image1.jpg 试试模型的多模态理解能力使用 transformers 加载检查点的核心代码非常简短需 transformers4.52.1from transformers import AutoTokenizer, AutoModelForImageTextToText model AutoModelForImageTextToText.from_pretrained( OpenGVLab/InternVL3_5-14B-HF, torch_dtypetorch.bfloat16, trust_remote_codeTrue).eval().cuda()生成行为由 generation_config.json 控制对话格式模板见 chat_template.jinja。如需开启Thinking 模式设置官方系统提示词并建议do_sampleTrue、temperature0.6即可让模型先想清楚再作答。七、检查点怎么选 部署小贴士不确定选哪个直接选无后缀的完整版即本仓库它走完了全部四阶段训练做研究复现可按阶段选-Pretrained/-Instruct/-MPO模型权重共 7 个分片参数映射关系见 model.safetensors.index.json分片文件如 model-00001-of-00007.safetensors部署14B 版本单卡 A100 即可运行官方支持 LMDeploy 与 vLLM 两类推理框架HF 格式检查点与官方 transformers API 完全兼容。总结InternVL3_5-14B-HF 的四阶段训练是一条清晰的能力流水线CPT 打底 → SFT 塑型 → MPO 离线对齐 → GSPO 在线精修。CascadeRL 的粗到细设计让强化学习既稳又快这正是它在 MMMU、MathVista 等推理基准上大幅领先的背后原因。读懂这张全景图你就能明白每个阶段检查点的差异并快速判断哪个版本最适合你的场景 赞分享【免费下载链接】InternVL3_5-14B-HF项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-14B-HF点击查看免费下载相关推荐终极美化指南3步打造你的个性化Obsidian知识库终极美化指南3步打造你的个性化Obsidian知识库 还在为Obsidian单调的界面而烦恼吗想象一下你的知识库不仅功能强大还能像艺术品一样美观——这就文档教程知识管理SoundCloud音乐下载终极指南如何用scdl轻松收藏高品质音乐SoundCloud音乐下载终极指南如何用scdl轻松收藏高品质音乐 你是否在SoundCloud上发现了一首惊艳的独立音乐却苦于无法下载保存作为全球最大CLI音频网页爬虫DreamCraft3D训练阶段管理技术深度解析DreamCraft3D训练阶段管理技术深度解析 概述 DreamCraft3D是一种革命性的分层3D内容生成方法通过引导式扩散先验技术实现高质量、一致性强的创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
