【免费下载链接】InternVL3_5-30B-A3B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-30B-A3B-MPO点击查看免费下载InternVL3.5-30B-A3B-MPO 是 InternVL3.5 系列中基于 Qwen3-30B-A3B 混合专家MoE架构的多模态大模型经过 CPT 预训练、SFT 监督微调与 MPO混合偏好优化强化后训练阶段在图像理解与多模态推理上表现突出。本文将带你快速掌握加载 InternVL3_5-30B-A3B-MPO 的三种方式bf16 全精度加载、BNB 8bit 量化加载、多 GPU 自动分布式部署并附显存参考与常见问题排查新手照着做即可跑通推理。一、先认识这个模型30B 参数、A3B 激活在动手加载之前花 1 分钟了解模型结构能帮你做出正确的硬件选择特性说明总参数量30.8B视觉编码器约 0.3B 语言模型 30.5B架构MoE 混合专家128 个专家、每 token 激活 8 个激活参数仅约 3BA3B语言基座Qwen3-30B-A3B48 层上下文窗口 40K视觉编码器InternViT图像基准分辨率 448动态分块最多 12 块训练阶段CPT SFT MPOCascadeRL 离线强化阶段 从 config.json 可以看到关键配置num_experts: 128、num_experts_per_tok: 8、max_position_embeddings: 40960以及视觉侧的force_image_size: 448和max_dynamic_patch: 12。MoE 特性意味着虽然总参数 30B但每次前向只激活 3B 参数推理速度很快。二、加载前的环境准备一键安装步骤安装依赖官方要求transformers4.52.1否则模型无法正常工作pip install transformers4.52.1 torch torchvision bitsandbytes下载模型仓库包含自定义建模代码与全部权重文件共 48 个按层切分的layer-*-ep-0-of-1.safetensors others.safetensors vision.safetensorsgit clone https://gitcode.com/OpenGVLab/InternVL3_5-30B-A3B-MPO确认显卡显存官方说明 30B 级模型可部署在单张 A10080G上。bf16 全精度约需 60GB 显存8bit 量化约 32GB多卡场景可将权重自动切分到 2 块及以上 GPU。⚠️ 该仓库采用 custom_code 自定义建模方式modeling_internvl_chat.py 中的 InternVLChatModel 类加载时必须加trust_remote_codeTrue这是新手最常漏掉的一步。三、方法一bf16 全精度加载单卡质量最高显存充足时A100 80G 及以上推荐 bf16精度无损。核心参数只有 5 个import torch from transformers import AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3_5-30B-A3B-MPO, torch_dtypetorch.bfloat16, # 16-bit 精度 low_cpu_mem_usageTrue, # 降低 CPU 内存峰值 use_flash_attnTrue, # 启用 FlashAttention 加速 trust_remote_codeTrue).eval().cuda()参数解读torch_dtypetorch.bfloat16以 bf16 精度加载权重不占用额外 fp32 内存low_cpu_mem_usageTrue逐层搬运权重避免CPU 内存 OOMuse_flash_attnTruemodeling_internvl_chat.py 中会据此为 ViT 和 LLM 同时开启 flash_attention_2.cuda()显存足够时直接把整个模型放进单卡四、方法二BNB 8bit 量化加载显存减半性价比最高显存紧张如 40G 甚至 32G 显卡时用 bitsandbytes 的 8bit 量化显存占用直接减半到 32GB 左右效果损失很小import torch from transformers import AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3_5-30B-A3B-MPO, torch_dtypetorch.bfloat16, load_in_8bitTrue, # 开启 BNB 8-bit 量化 low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue).eval()与方法一的差别仅两点加了load_in_8bitTrue且不需要手动.cuda()量化权重会自动放到 GPU 上。 注意8bit 模式依赖bitsandbytes库请确保已安装且 CUDA 版本匹配量化只压缩权重激活与 KV Cache 仍是 bf16长上下文时仍需预留显存。五、方法三多 GPU 自动分布式部署双卡起步显存不够单卡装下时只需把加载方式换成device_mapautotransformers 会自动把 48 层 MoE 权重对应layer-0~layer-47各分片切分到所有可见 GPU 上import torch from transformers import AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3_5-30B-A3B-MPO, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue, device_mapauto).eval() # 自动跨卡分配无需手动切分实操要点用CUDA_VISIBLE_DEVICES0,1控制参与部署的卡号例如双卡 40G 即可承载 bf16 全精度分配方案可参考 model.safetensors.index.json它记录了每个权重张量所在的 safetensors 分片想指定某张卡只跑视觉编码器DvD 分离式部署思想也可用字典形式手动指定device_map进阶玩家再考虑六、加载成功后的快速验证一次对话测试加载完成后建议先跑一条纯文本对话验证链路是否正常视觉 语言完整前向约 30 秒内完成即为正常from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained( OpenGVLab/InternVL3_5-30B-A3B-MPO, trust_remote_codeTrue, use_fastFalse) # 必须 use_fastFalse response model.chat( tokenizer, None, 你好请介绍一下你自己。, dict(max_new_tokens1024, do_sampleTrue)) print(response)这里调用的chat接口定义在 modeling_internvl_chat.pypixel_values传None即纯文本对话传图像张量则走多模态路径。批处理推理可用 batch_chat 接口。对话模板由 conversation.py 管理当前使用internvl2_5模板。Thinking 深度思考模式设置系统提示词并配合do_sampleTrue、temperature0.6可让模型先分步推理再给出答案适合数学与复杂推理任务model.system_message You are an AI assistant that rigorously follows this response protocol: 1. First, conduct a detailed analysis... 2. After the thinking section, provide a clear, concise answer.七、三种方法怎么选一图速查场景推荐方法显存参考一句话理由A100/H100 80G 单卡bf16 全精度≈62GB精度无损速度最快40G 单卡 / 消费级大显存卡BNB 8bit≈32GB显存减半效果损失极小双卡及以下合计显存不足单卡device_mapauto多卡按卡数切分零代码自动均衡权重线上高并发服务LMDeploy / vLLM—生产级吞吐tp参数指定卡数八、常见问题排查清单OSError: 无法识别的架构 / 权重不匹配→ 检查是否使用了仓库自带的自定义代码trust_remote_codeTrue且模型路径指向本仓库目录而非只下载了权重RuntimeError: CUDA out of memory→ 依次尝试加low_cpu_mem_usageTrue→ 换load_in_8bitTrue→ 加卡用device_mapautotokenizer 加载报错→ 必须use_fastFalse该模型依赖 tokenizer_config.json 中的慢速分词路径生成结果重复→ 开启 Thinking 模式时按官方建议设置do_sampleTrue、temperature0.6FlashAttention 警告→ 环境未装flash-attn时会自动回退 eager 注意力不影响加载只影响速度九、相关文件资料索引使用文档与完整示例README.mdQuick Start 章节模型主架构实现modeling_internvl_chat.py顶层配置与 LLM/ViT 子配置config.json、configuration_internvl_chat.py视觉编码器实现modeling_intern_vit.py、configuration_intern_vit.py对话模板定义conversation.py权重索引48 层 MoE 分片映射model.safetensors.index.json按本文顺序操作10 分钟内即可完成 InternVL3_5-30B-A3B-MPO 的加载与验证。显存选型拿不准时优先从8bit 单卡起步再按需升级到 bf16 或多卡方案。赞分享【免费下载链接】InternVL3_5-30B-A3B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-30B-A3B-MPO点击查看免费下载相关推荐如何用SWIFT和XTuner微调InternVL3_5-30B-A3B-MPO多模态大模型微调完整工作流如何用SWIFT和XTuner微调InternVL3_5 30B A3B MPO多模态大模型微调完整工作流 想用 SWIFT 和 XTuner 对 InterInstruct、MPO还是完整版本InternVL3_5-30B-A3B-MPO不同训练阶段模型选型指南Instruct、MPO还是完整版本InternVL3_5 30B A3B MPO不同训练阶段模型选型指南 InternVL3_5 30B A3B MPO 是如何把InternVL3_5-30B-A3B-MPO推上生产环境量化、多卡与DvD解耦视觉语言部署优化实践如何把InternVL3_5 30B A3B MPO推上生产环境量化、多卡与DvD解耦视觉语言部署优化实践 如果你正在寻找一套 InternVL3.5 多模态创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】InternVL3_5-30B-A3B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-30B-A3B-MPO点击查看免费下载InternVL3.5-30B-A3B-MPO 是 InternVL3.5 系列中基于 Qwen3-30B-A3B 混合专家MoE架构的多模态大模型经过 CPT 预训练、SFT 监督微调与 MPO混合偏好优化强化后训练阶段在图像理解与多模态推理上表现突出。本文将带你快速掌握加载 InternVL3_5-30B-A3B-MPO 的三种方式bf16 全精度加载、BNB 8bit 量化加载、多 GPU 自动分布式部署并附显存参考与常见问题排查新手照着做即可跑通推理。一、先认识这个模型30B 参数、A3B 激活在动手加载之前花 1 分钟了解模型结构能帮你做出正确的硬件选择特性说明总参数量30.8B视觉编码器约 0.3B 语言模型 30.5B架构MoE 混合专家128 个专家、每 token 激活 8 个激活参数仅约 3BA3B语言基座Qwen3-30B-A3B48 层上下文窗口 40K视觉编码器InternViT图像基准分辨率 448动态分块最多 12 块训练阶段CPT SFT MPOCascadeRL 离线强化阶段 从 config.json 可以看到关键配置num_experts: 128、num_experts_per_tok: 8、max_position_embeddings: 40960以及视觉侧的force_image_size: 448和max_dynamic_patch: 12。MoE 特性意味着虽然总参数 30B但每次前向只激活 3B 参数推理速度很快。二、加载前的环境准备一键安装步骤安装依赖官方要求transformers4.52.1否则模型无法正常工作pip install transformers4.52.1 torch torchvision bitsandbytes下载模型仓库包含自定义建模代码与全部权重文件共 48 个按层切分的layer-*-ep-0-of-1.safetensors others.safetensors vision.safetensorsgit clone https://gitcode.com/OpenGVLab/InternVL3_5-30B-A3B-MPO确认显卡显存官方说明 30B 级模型可部署在单张 A10080G上。bf16 全精度约需 60GB 显存8bit 量化约 32GB多卡场景可将权重自动切分到 2 块及以上 GPU。⚠️ 该仓库采用 custom_code 自定义建模方式modeling_internvl_chat.py 中的 InternVLChatModel 类加载时必须加trust_remote_codeTrue这是新手最常漏掉的一步。三、方法一bf16 全精度加载单卡质量最高显存充足时A100 80G 及以上推荐 bf16精度无损。核心参数只有 5 个import torch from transformers import AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3_5-30B-A3B-MPO, torch_dtypetorch.bfloat16, # 16-bit 精度 low_cpu_mem_usageTrue, # 降低 CPU 内存峰值 use_flash_attnTrue, # 启用 FlashAttention 加速 trust_remote_codeTrue).eval().cuda()参数解读torch_dtypetorch.bfloat16以 bf16 精度加载权重不占用额外 fp32 内存low_cpu_mem_usageTrue逐层搬运权重避免CPU 内存 OOMuse_flash_attnTruemodeling_internvl_chat.py 中会据此为 ViT 和 LLM 同时开启 flash_attention_2.cuda()显存足够时直接把整个模型放进单卡四、方法二BNB 8bit 量化加载显存减半性价比最高显存紧张如 40G 甚至 32G 显卡时用 bitsandbytes 的 8bit 量化显存占用直接减半到 32GB 左右效果损失很小import torch from transformers import AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3_5-30B-A3B-MPO, torch_dtypetorch.bfloat16, load_in_8bitTrue, # 开启 BNB 8-bit 量化 low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue).eval()与方法一的差别仅两点加了load_in_8bitTrue且不需要手动.cuda()量化权重会自动放到 GPU 上。 注意8bit 模式依赖bitsandbytes库请确保已安装且 CUDA 版本匹配量化只压缩权重激活与 KV Cache 仍是 bf16长上下文时仍需预留显存。五、方法三多 GPU 自动分布式部署双卡起步显存不够单卡装下时只需把加载方式换成device_mapautotransformers 会自动把 48 层 MoE 权重对应layer-0~layer-47各分片切分到所有可见 GPU 上import torch from transformers import AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3_5-30B-A3B-MPO, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue, device_mapauto).eval() # 自动跨卡分配无需手动切分实操要点用CUDA_VISIBLE_DEVICES0,1控制参与部署的卡号例如双卡 40G 即可承载 bf16 全精度分配方案可参考 model.safetensors.index.json它记录了每个权重张量所在的 safetensors 分片想指定某张卡只跑视觉编码器DvD 分离式部署思想也可用字典形式手动指定device_map进阶玩家再考虑六、加载成功后的快速验证一次对话测试加载完成后建议先跑一条纯文本对话验证链路是否正常视觉 语言完整前向约 30 秒内完成即为正常from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained( OpenGVLab/InternVL3_5-30B-A3B-MPO, trust_remote_codeTrue, use_fastFalse) # 必须 use_fastFalse response model.chat( tokenizer, None, 你好请介绍一下你自己。, dict(max_new_tokens1024, do_sampleTrue)) print(response)这里调用的chat接口定义在 modeling_internvl_chat.pypixel_values传None即纯文本对话传图像张量则走多模态路径。批处理推理可用 batch_chat 接口。对话模板由 conversation.py 管理当前使用internvl2_5模板。Thinking 深度思考模式设置系统提示词并配合do_sampleTrue、temperature0.6可让模型先分步推理再给出答案适合数学与复杂推理任务model.system_message You are an AI assistant that rigorously follows this response protocol: 1. First, conduct a detailed analysis... 2. After the thinking section, provide a clear, concise answer.七、三种方法怎么选一图速查场景推荐方法显存参考一句话理由A100/H100 80G 单卡bf16 全精度≈62GB精度无损速度最快40G 单卡 / 消费级大显存卡BNB 8bit≈32GB显存减半效果损失极小双卡及以下合计显存不足单卡device_mapauto多卡按卡数切分零代码自动均衡权重线上高并发服务LMDeploy / vLLM—生产级吞吐tp参数指定卡数八、常见问题排查清单OSError: 无法识别的架构 / 权重不匹配→ 检查是否使用了仓库自带的自定义代码trust_remote_codeTrue且模型路径指向本仓库目录而非只下载了权重RuntimeError: CUDA out of memory→ 依次尝试加low_cpu_mem_usageTrue→ 换load_in_8bitTrue→ 加卡用device_mapautotokenizer 加载报错→ 必须use_fastFalse该模型依赖 tokenizer_config.json 中的慢速分词路径生成结果重复→ 开启 Thinking 模式时按官方建议设置do_sampleTrue、temperature0.6FlashAttention 警告→ 环境未装flash-attn时会自动回退 eager 注意力不影响加载只影响速度九、相关文件资料索引使用文档与完整示例README.mdQuick Start 章节模型主架构实现modeling_internvl_chat.py顶层配置与 LLM/ViT 子配置config.json、configuration_internvl_chat.py视觉编码器实现modeling_intern_vit.py、configuration_intern_vit.py对话模板定义conversation.py权重索引48 层 MoE 分片映射model.safetensors.index.json按本文顺序操作10 分钟内即可完成 InternVL3_5-30B-A3B-MPO 的加载与验证。显存选型拿不准时优先从8bit 单卡起步再按需升级到 bf16 或多卡方案。赞分享【免费下载链接】InternVL3_5-30B-A3B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-30B-A3B-MPO点击查看免费下载相关推荐如何用SWIFT和XTuner微调InternVL3_5-30B-A3B-MPO多模态大模型微调完整工作流如何用SWIFT和XTuner微调InternVL3_5 30B A3B MPO多模态大模型微调完整工作流 想用 SWIFT 和 XTuner 对 InterInstruct、MPO还是完整版本InternVL3_5-30B-A3B-MPO不同训练阶段模型选型指南Instruct、MPO还是完整版本InternVL3_5 30B A3B MPO不同训练阶段模型选型指南 InternVL3_5 30B A3B MPO 是如何把InternVL3_5-30B-A3B-MPO推上生产环境量化、多卡与DvD解耦视觉语言部署优化实践如何把InternVL3_5 30B A3B MPO推上生产环境量化、多卡与DvD解耦视觉语言部署优化实践 如果你正在寻找一套 InternVL3.5 多模态创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
