Vision-Language ModelVLM的发展逻辑可以概括为图文对齐 → 多模态预训练 → 连接LLM → 指令微调 → 大规模统一多模态模型传统CV │ ▼ ──────────────────────────────────── ① 图文表示学习Representation 2019~2021 │ ├── ViLBERT ├── LXMERT ├── UNITER └── CLIP ← 第一次革命 │ ▼ ──────────────────────────────────── ② 统一视觉语言预训练Unified VLP 2021~2022 │ ├── ALIGN ├── ALBEF ├── BLIP ├── CoCa └── Flamingo ← 第二次革命 │ ▼ ──────────────────────────────────── ③ LLM时代Bridge to LLM 2023 │ ├── BLIP-2 ├── InstructBLIP ├── MiniGPT-4 └── LLaVA ← 第三次革命 │ ▼ ──────────────────────────────────── ④ 大模型时代Large VLM 2023~2024 │ ├── GPT-4V ├── Gemini ├── Qwen-VL ├── CogVLM ├── InternVL └── Florence-2 │ ▼ ──────────────────────────────────── ⑤ Foundation VLM2024~至今 │ ├── Qwen2-VL ├── InternVL2 ├── LLaVA-OneVision ├── Molmo └── Omni方向这一演进过程也反映了 VLM 从表示学习模型逐步发展为具备通用推理能力的多模态智能体。第一阶段2019-2021图文表示学习目标让图片和文本能够映射到同一个语义空间。这一阶段的模型还不能“聊天”主要解决的是图文匹配和跨模态表示学习。代表论文年份论文贡献2019ViLBERT首次采用双流 Transformer 处理图文2019LXMERT大规模视觉语言预训练2019UNITER统一视觉语言编码器2021CLIP⭐⭐⭐⭐⭐提出大规模图文对比学习成为现代 VLM 的起点2021ALIGN验证超大规模图文数据的重要性这一阶段的关键词Contrastive Learning对比学习经典结构Image Encoder │ │ Shared Embedding Space │ │ Text EncoderCLIP(Contrastive Language-Image Pre-training)是整个 VLM 发展的第一座里程碑。第二阶段2021-2022统一视觉语言预训练仅仅学会图文对齐还不够模型开始学习Caption根据图片生成一段自然语言描述Image → Text目的是让模型学会图片中有什么Object、它们之间的关系Relation、正在发生什么Action、场景是什么Scene使模型逐渐学习到更丰富的视觉语义。VQAVisual Question Answering视觉问答Image Question → Answer根据图片回答用户的问题。不仅训练模型识别物体的能力还包括Counting计数、Color颜色、OCR文字识别、Spatial Relation空间关系、Common Sense常识推理流程Image \ --- Multimodal Model --- Answer / QuestionRetrievalImage-Text Retrieval图文检索根据图片找文本或者根据文本找图片Image → Text、Text→ ImageMatchingImage-Text Matching图文匹配判断一张图片和一句话是否匹配。流程Image Sentence → Binary Classification → Yes / NoMatching 与 Retrieval 的区别Retrieval在很多候选中找最匹配的属于排序问题Matching只判断 Image Text→True / False属于二分类问题目标变成一个模型完成所有 Vision-Language 任务。代表论文年份论文贡献2021ALBEF提出更好的图文对齐机制2022BLIP⭐⭐⭐⭐⭐统一理解与生成任务2022CoCa融合对比学习和生成学习2022Flamingo⭐⭐⭐⭐⭐首次实现 Few-shot 多模态学习BLIP的贡献主要是ITC ITM LM 三种训练目标统一。训练目标作用ITCImage-Text Contrastive学习统一图文表示用于 RetrievalITMImage-Text Matching判断图文是否真正匹配提高细粒度对齐能力LMLanguage Modeling根据图片生成自然语言即 Caption而Flamingo则首次证明https://blog.csdn.net/c_y_w_/article/details/162674359LLM 可以真正理解图片。第三阶段2023连接 LLM这是 VLM 发展史上的第二个重大转折点。研究重点从如何学习图文表示变成如何把视觉信息送进 LLM。于是出现了各种桥接模块Bridge。代表论文一BLIP-2BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Modelshttps://blog.csdn.net/c_y_w_/article/details/162733937最大贡献提出Q-Former结构Image Encoder (Frozen) │ Q-Former │ Large Language Model代表论文二InstructBLIP增加Instruction Tuning指令微调即Describe、Explain、Count、OCR、Reasoning 全部统一到 Instruction。代表论文三LLaVAVisual Instruction Tuning这是今天影响最大的开源 VLM。结构极其简单CLIP ↓ Linear Projector ↓ Vicuna它告诉大家不需要复杂结构一个投影层就能连接视觉编码器和 LLM并通过视觉指令微调获得很强的多模态能力。这一范式迅速成为开源 VLM 的主流路线。第四阶段2023-2024大型 VLM进入 GPT-4V 时代。大家开始追求一个模型完成所有视觉任务。代表模型模型特点GPT-4V闭源、多模态推理能力突出Gemini统一图像、视频、文本Qwen-VL中文能力强支持 OCR、GroundingCogVLM开源大模型InternVL**高分辨率、多图、多文档Florence-2统一视觉任务接口这一阶段的重要变化是以前Detection、Caption、OCR、Segmentation是四个模型。现在Prompt→One Model→Everything 统一接口成为主流设计思路。第五阶段2024-至今Foundation VLM目前最前沿的研究方向已经不是“做一个能看图的聊天机器人”而是构建真正的视觉基础模型。代表工作包括Qwen2-VL、InternVL2、LLaVA-OneVision、Molmo、Florence-2模型共同特点支持高分辨率图像支持多图输入支持长视频OCR 与文档理解能力显著增强更强的空间推理与工具调用能力研究重点也逐渐从“图文理解”扩展到Agent、长上下文、多模态推理和具身智能。推荐精读的 10 篇代表性论文阶段论文为什么必读① 图文表示学习CLIP (2021)现代 VLM 的起点建立图文对比学习范式① 图文表示学习ALIGN (2021)展示大规模数据驱动的图文预训练能力② 统一预训练BLIP (2022)统一视觉理解与生成任务② Few-shotFlamingo (2022)首个具备强 Few-shot 多模态能力的 VLM③ Bridge LLMBLIP-2 (2023)提出经典 Q-Former 桥接模块③ 指令微调InstructBLIP (2023)将 Instruction Tuning 引入 VLM③ 开源 VLMLLaVA (2023)奠定现代开源 VLM 基础框架④ 大模型GPT-4V (2023)展示通用多模态推理能力④ Foundation VLMInternVL (2023/2024)高分辨率、多图、多场景统一建模④ 统一视觉模型Florence-2 (2024)将检测、OCR、分割等任务统一到 Prompt 驱动框架如果你的目标是做 VLM 方向的科研我建议按照以下顺序阅读CLIP → BLIP → Flamingo → BLIP-2 → InstructBLIP → LLaVA → GPT-4V技术报告→ InternVL → Florence-2这条阅读路线几乎完整覆盖了 VLM 从图文表示学习到现代多模态大模型的发展脉络也能够帮助你理解当前顶会CVPR、ICCV、NeurIPS、ICLR论文中最常见的模型设计思想。
Vision-Language ModelVLM的发展逻辑可以概括为图文对齐 → 多模态预训练 → 连接LLM → 指令微调 → 大规模统一多模态模型传统CV │ ▼ ──────────────────────────────────── ① 图文表示学习Representation 2019~2021 │ ├── ViLBERT ├── LXMERT ├── UNITER └── CLIP ← 第一次革命 │ ▼ ──────────────────────────────────── ② 统一视觉语言预训练Unified VLP 2021~2022 │ ├── ALIGN ├── ALBEF ├── BLIP ├── CoCa └── Flamingo ← 第二次革命 │ ▼ ──────────────────────────────────── ③ LLM时代Bridge to LLM 2023 │ ├── BLIP-2 ├── InstructBLIP ├── MiniGPT-4 └── LLaVA ← 第三次革命 │ ▼ ──────────────────────────────────── ④ 大模型时代Large VLM 2023~2024 │ ├── GPT-4V ├── Gemini ├── Qwen-VL ├── CogVLM ├── InternVL └── Florence-2 │ ▼ ──────────────────────────────────── ⑤ Foundation VLM2024~至今 │ ├── Qwen2-VL ├── InternVL2 ├── LLaVA-OneVision ├── Molmo └── Omni方向这一演进过程也反映了 VLM 从表示学习模型逐步发展为具备通用推理能力的多模态智能体。第一阶段2019-2021图文表示学习目标让图片和文本能够映射到同一个语义空间。这一阶段的模型还不能“聊天”主要解决的是图文匹配和跨模态表示学习。代表论文年份论文贡献2019ViLBERT首次采用双流 Transformer 处理图文2019LXMERT大规模视觉语言预训练2019UNITER统一视觉语言编码器2021CLIP⭐⭐⭐⭐⭐提出大规模图文对比学习成为现代 VLM 的起点2021ALIGN验证超大规模图文数据的重要性这一阶段的关键词Contrastive Learning对比学习经典结构Image Encoder │ │ Shared Embedding Space │ │ Text EncoderCLIP(Contrastive Language-Image Pre-training)是整个 VLM 发展的第一座里程碑。第二阶段2021-2022统一视觉语言预训练仅仅学会图文对齐还不够模型开始学习Caption根据图片生成一段自然语言描述Image → Text目的是让模型学会图片中有什么Object、它们之间的关系Relation、正在发生什么Action、场景是什么Scene使模型逐渐学习到更丰富的视觉语义。VQAVisual Question Answering视觉问答Image Question → Answer根据图片回答用户的问题。不仅训练模型识别物体的能力还包括Counting计数、Color颜色、OCR文字识别、Spatial Relation空间关系、Common Sense常识推理流程Image \ --- Multimodal Model --- Answer / QuestionRetrievalImage-Text Retrieval图文检索根据图片找文本或者根据文本找图片Image → Text、Text→ ImageMatchingImage-Text Matching图文匹配判断一张图片和一句话是否匹配。流程Image Sentence → Binary Classification → Yes / NoMatching 与 Retrieval 的区别Retrieval在很多候选中找最匹配的属于排序问题Matching只判断 Image Text→True / False属于二分类问题目标变成一个模型完成所有 Vision-Language 任务。代表论文年份论文贡献2021ALBEF提出更好的图文对齐机制2022BLIP⭐⭐⭐⭐⭐统一理解与生成任务2022CoCa融合对比学习和生成学习2022Flamingo⭐⭐⭐⭐⭐首次实现 Few-shot 多模态学习BLIP的贡献主要是ITC ITM LM 三种训练目标统一。训练目标作用ITCImage-Text Contrastive学习统一图文表示用于 RetrievalITMImage-Text Matching判断图文是否真正匹配提高细粒度对齐能力LMLanguage Modeling根据图片生成自然语言即 Caption而Flamingo则首次证明https://blog.csdn.net/c_y_w_/article/details/162674359LLM 可以真正理解图片。第三阶段2023连接 LLM这是 VLM 发展史上的第二个重大转折点。研究重点从如何学习图文表示变成如何把视觉信息送进 LLM。于是出现了各种桥接模块Bridge。代表论文一BLIP-2BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Modelshttps://blog.csdn.net/c_y_w_/article/details/162733937最大贡献提出Q-Former结构Image Encoder (Frozen) │ Q-Former │ Large Language Model代表论文二InstructBLIP增加Instruction Tuning指令微调即Describe、Explain、Count、OCR、Reasoning 全部统一到 Instruction。代表论文三LLaVAVisual Instruction Tuning这是今天影响最大的开源 VLM。结构极其简单CLIP ↓ Linear Projector ↓ Vicuna它告诉大家不需要复杂结构一个投影层就能连接视觉编码器和 LLM并通过视觉指令微调获得很强的多模态能力。这一范式迅速成为开源 VLM 的主流路线。第四阶段2023-2024大型 VLM进入 GPT-4V 时代。大家开始追求一个模型完成所有视觉任务。代表模型模型特点GPT-4V闭源、多模态推理能力突出Gemini统一图像、视频、文本Qwen-VL中文能力强支持 OCR、GroundingCogVLM开源大模型InternVL**高分辨率、多图、多文档Florence-2统一视觉任务接口这一阶段的重要变化是以前Detection、Caption、OCR、Segmentation是四个模型。现在Prompt→One Model→Everything 统一接口成为主流设计思路。第五阶段2024-至今Foundation VLM目前最前沿的研究方向已经不是“做一个能看图的聊天机器人”而是构建真正的视觉基础模型。代表工作包括Qwen2-VL、InternVL2、LLaVA-OneVision、Molmo、Florence-2模型共同特点支持高分辨率图像支持多图输入支持长视频OCR 与文档理解能力显著增强更强的空间推理与工具调用能力研究重点也逐渐从“图文理解”扩展到Agent、长上下文、多模态推理和具身智能。推荐精读的 10 篇代表性论文阶段论文为什么必读① 图文表示学习CLIP (2021)现代 VLM 的起点建立图文对比学习范式① 图文表示学习ALIGN (2021)展示大规模数据驱动的图文预训练能力② 统一预训练BLIP (2022)统一视觉理解与生成任务② Few-shotFlamingo (2022)首个具备强 Few-shot 多模态能力的 VLM③ Bridge LLMBLIP-2 (2023)提出经典 Q-Former 桥接模块③ 指令微调InstructBLIP (2023)将 Instruction Tuning 引入 VLM③ 开源 VLMLLaVA (2023)奠定现代开源 VLM 基础框架④ 大模型GPT-4V (2023)展示通用多模态推理能力④ Foundation VLMInternVL (2023/2024)高分辨率、多图、多场景统一建模④ 统一视觉模型Florence-2 (2024)将检测、OCR、分割等任务统一到 Prompt 驱动框架如果你的目标是做 VLM 方向的科研我建议按照以下顺序阅读CLIP → BLIP → Flamingo → BLIP-2 → InstructBLIP → LLaVA → GPT-4V技术报告→ InternVL → Florence-2这条阅读路线几乎完整覆盖了 VLM 从图文表示学习到现代多模态大模型的发展脉络也能够帮助你理解当前顶会CVPR、ICCV、NeurIPS、ICLR论文中最常见的模型设计思想。
)
)
)
