从CLIP到LLaVA：多模态视觉大模型原理与实战

最近我把多模态视觉大模型从CLIP到LLaVA这条技术路线完整跑了一遍。如果只看概念很多人会以为它们都是“看图识别”但实际使用完全是两件事CLIP负责把图像和文本映射到同一个向量空间擅长做图文匹配和零样本分类LLaVA则让语言模型真正看懂图片能直接输出描述或回答关于图片的问题。这篇文章从底层架构开始拆再配合可运行的代码适合还没有跑过多模态模型的新手也适合想快速做图文检索或视觉问答项目的人。下面按我实际测试的顺序来写先分清模型能力再准备环境然后逐个跑通CLIP和LLaVA最后说清楚显存、精度和批量任务的边界。1. 先分清CLIP 是“看和比”LLaVA 是“看和说”1.1 CLIP 解决的是什么问题CLIP全称是 Contrastive Language-Image Pre-training它提出了一种完全不同于传统图像分类的训练思路。传统分类模型需要先准备一批固定类别例如猫、狗、车训练一个分类头模型只能在这些类别里做判断。CLIP不这么做。它用一批图文对训练两个编码器一个图像编码器一个文本编码器让匹配的图像和文本在向量空间里更接近。训练完之后你可以给出一张图片和任意文本候选列表模型直接算出图片和每个候选文本的相似度。这就带来两个很实际的能力图文检索用一句话找图片或者用图片找相关文字零样本分类没有训练样本也能分类只需要把分类名称写成文本候选。很多项目用CLIP做图片标签分类就是基于这个逻辑。它不需要重新训练直接加载预训练权重就能用。这里有个新手容易误会的地方CLIP不是一个“识别模型”它不会告诉你说“这张图里有一只猫”。它只给你相似度分数真正判断哪个标签最合适需要你先把文本候选列表写出来。1.2 LLaVA 解决的是什么问题LLaVA全称是 Large Language and Vision Assistant。它关注的不是“图文相似度”而是“生成自然语言”。你可以输入一张图片再输入一个指令比如“用中文描述这张图片”它就能生成一段描述。你也可以继续问“照片里的主角穿的衣服是什么颜色”它会结合图像内容回答。这是典型的视觉问答。LLaVA不是重新发明了一套视觉模型。它把CLIP中的视觉编码器、一个投影层、一个现成的大语言模型组合起来用指令数据做微调。它的核心贡献在于解决“图像特征如何进入语言模型”的问题。这部分架构思路也是当前很多多模态大模型的基础。1.3 为什么经常把 CLIP 和 LLaVA 放在一起讲最直接的原因是LLaVA使用的视觉Encoder就是CLIP训练出来的ViT。所以如果你没有搞清楚CLIP的输入输出和特征含义看LLaVA时很容易卡在“图像特征是怎么变成语言模型token的”这个问题上。反过来如果你已经跑通了CLIP再切到LLaVA就会顺畅很多。CLIP会告诉你图像和文本特征长什么样、相似度怎么计算LLaVA会告诉你这些特征如何被语言模型消费。两者加在一起就是一条完整的多模态视觉大模型入门路径。所以这篇文章的结构也是固定的先跑CLIP再看LLaVA最后统一梳理底层数据流。2. 环境准备先跑通一个最小样例再谈批量2.1 硬件条件怎么判断很多人一听到“多模态视觉大模型”就觉得需要很贵的机器。实际上要看你想跑到什么程度。CLIP base 规模的模型例如 clip-vit-base-patch32在CPU上也能跑只是慢。单张图片推理CPU通常要一两秒GPU可能几十毫秒。如果你只是想理解代码和原理CLIP用任意带Python环境的电脑都能跑。LLaVA就不一样了。以常见的 LLaVA-1.5 7B 模型为例FP16推理时显存需求大约在14到16GB之间。这只是经验值不同实现、不同输入分辨率会有差异。低配置不是完全不能跑但要接受两个结果速度慢或者需要量化、混合精度、降低分辨率。如果你的机器显存只有6GB可以先试用更小的LLaVA变体或者改用4bit量化方式加载但首次跑通时不要同时放大batch和后端并发。这里我给一个最简单的判断标准CLIP可以在普通笔记本上跑通LLaVA尽量准备一张单卡8GB以上的GPU如果只有CPU能跑但心理预期要降到“演示级别”。2.2 软件依赖怎么装我建议使用Python 3.9或更高版本并创建一个独立的虚拟环境。环境隔离很重要因为transformers、torch这些库版本变化比较快你很可能同时需要跑多个项目。conda create -n multimodal python3.10 -y conda activate multimodal pip install torch transformers accelerate pillow sentencepiece这一套足够跑通CLIP和LLaVA的transformers版本。如果你后续要用量化加载再补pip install bitsandbytes如果你用的是Ubuntu 24.04这类Linux发行版可以直接用虚拟环境不一定需要Anaconda。用VS Code做远程开发也是一个常见选择重点是保证Python解释器指向你创建的虚拟环境。如果机器上还没有正常输出的nvidia-smi先解决驱动问题再安装PyTorch否则GPU相关功能很难稳定。我一般会做一个环境版本记录文件pip freeze requirements-lock.txt这样之后环境坏了能快速恢复。2.3 为什么不要一开始就追最新版本这里的核心原因不是“最新版本不好”而是API变化会带来额外成本。比如transformers对LLaVA