上一章我们聊完了向量数据库的选型。但有一个问题可能比选数据库更早摆在你面前我该用什么 Embedding 模型来生成向量这个问题很容易被忽略。很多团队的默认做法是随便选一个 OpenAI 的 text-embedding跑通就上线。但我必须说一句实话Embedding 模型的选型可能比向量数据库的选型更影响 RAG 的最终效果。因为向量数据库只是存和查而 Embedding 模型决定了文本如何被理解。如果模型对语义的编码质量不行后面检索再快、数据库再强也没用。01先搞清楚Embedding 模型到底在比什么在开始对比之前我想先问你一个问题你知道评估一个 Embedding 模型好不好应该看哪些维度吗很多人第一反应是Benchmark 分数。没错MTEB 是目前最主流的评测平台。但 Benchmark 分数不等于你的业务效果。一个更实际的评估框架应该是这样的语义编码质量在你的业务数据上检索召回率怎么样 语言支持中文、中英混合、代码、表格能不能都处理好 维度大小向量维度越高存储和检索成本越高 部署方式是调 API 还是自己部署 成本API 按量收费自建需要 GPU 资源 延迟在线查询时Embedding 生成的速度够不够快 是否支持 MRL能不能灵活压缩维度选型的第一步不是谁分数最高而是我最看重哪些维度。02商业 API 模型省心但有边界先看商业 API 模型。这类模型的特点是接入简单、服务稳定、不需要自己管 GPU。目前最主流的两家是OpenAI和Cohere。OpenAI text-embedding-3 系列关键词快速接入、服务稳定、MRL 支持OpenAI 的 text-embedding-3 系列可能是目前使用最广泛的 Embedding 模型。它有两个版本text-embedding-3-small1536 维$0.008 / 百万 tokens text-embedding-3-large3072 维$0.13 / 百万 tokenssmall 版本性价比极高适合绝大多数场景。large 版本语义更精细但成本是 small 的 16 倍。优势很明确接入简单、服务稳定、支持 dimensions 参数控制输出维度、多语言支持不错。但边界也很清楚数据需要发送到 OpenAI 服务器合规问题、模型闭源无法微调、国内访问可能需要代理。如果你的项目数据没有合规限制想快速上线OpenAI text-embedding-3-small 是一个非常好的起点。Cohere embed-v4关键词多语言、语义推理强、100 语言Cohere 在国内知名度不如 OpenAI但在 Embedding 领域其实很强。embed-v4 的多语言支持好100 语言检索和推理能力比较强特别是在需要理解上下文、做语义推理的场景里表现不错。维度1024 |MRL支持 |成本$0.10 / 百万 tokens如果你的场景对语义推理要求比较高比如法律文档、合同分析Cohere 值得评估一下。03开源模型自由度高但要算清楚部署成本开源模型的核心价值是你可以自己部署数据不出内网可以微调可以控制版本。但开源免费不等于零成本。你需要 GPU 来跑推理需要工程团队来部署和维护。开源模型的成本从API 账单转移到了GPU 资源 工程运维上。这个账要提前算清楚。Qwen3 Embedding中文 / 多语言场景的首选关键词中文最强、多尺寸、MRL、阿里开源如果你在做一个中文知识库、中英混合文档系统我目前最推荐的开源模型是 Qwen3 Embedding。支持 100 语言中文表现尤其出色 提供 0.6B / 4B / 8B 三个尺寸 支持 MRL 自定义维度 阿里开源社区活跃中文资料丰富Qwen3 Embedding 对中文语义的理解能力在开源模型里是第一梯队。特别是在处理中文特有的表达方式、行业术语、中英混合内容时它的表现明显优于很多以英文为主训练的模型。如果你的项目是中文知识库、企业文档助手Qwen3 Embedding 是目前我最倾向推荐的选择。BGE-M3开源多语言 Baseline关键词成熟稳定、中文 baseline、568MBGE-M3 是北京智源研究院开源的多语言 Embedding 模型在很多 Benchmark 上是常用的 baseline。维度1024 | 参数量568M | 多语言 | 不支持 MRL优势是成熟、稳定、社区验证多。很多中文 RAG 项目的早期 POC 都是用它跑起来的。但它不支持 MRL如果你的向量库存储压力大这点需要考虑。BGE-M3 适合作为先跑通链路的 baseline。精细化阶段可以再评估是否换到更强的模型。Jina v5 text轻量部署的实用选择关键词轻量、239M nano、CPU 可跑Jina v5 系列在轻量部署方面做得很好。nano 版本只有 239M 参数可以在 CPU 上运行不需要 GPU。small 版本0.6B 参数 | nano 版本239M 参数 支持 MRL 维度压缩 | 多语言支持Jina v5 nano 适合资源受限场景、快速原型、或者需要在边缘设备上运行的场景。mxbai-embed-large英文场景的强手关键词英文优化、MRL 压缩质量好、335Mmxbai-embed-large 专门针对英文场景优化维度压缩后的质量保持得不错。但对于中文场景表现就不如 Qwen3 和 BGE-M3 了。纯英文知识库可以考虑 mxbai-embed-large中文场景还是优先考虑 Qwen3 或 BGE-M3。04MRL一个你可能忽略但很重要的特性我想特别聊一下 MRLMatryoshka Representation Learning套娃表征学习因为它是一个很有实用价值但很多人还不了解的特性。MRL 的核心思路是训练模型时让前 N 个维度就编码最重要的语义信息。这样你可以根据需要截取前 256、512、1024 维而不需要重新训练。图MRL 允许你按需截取向量维度在存储成本和语义质量之间灵活平衡。这有什么用呢省存储、提速度。3072 维 × 1000 万条 × 4 bytes ≈ 123 GB 1024 维 × 1000 万条 × 4 bytes ≈ 41 GB 512 维 × 1000 万条 × 4 bytes ≈ 20 GB从 3072 压缩到 1024检索质量的下降通常在 2-5% 以内但存储和检索成本的降低非常明显。如果你的数据规模大、存储成本高支持 MRL 的模型会让你在成本和质量之间找到更好的平衡点。05一张表建立全局认知模型类型维度MRL语言参数成本embedding-3-small商业 API1536Yes多语言闭源$0.008/Membedding-3-large商业 API3072Yes多语言闭源$0.13/MCohere embed-v4商业 API1024Yes100闭源$0.10/MQwen3 Embedding开源自定义Yes1000.6B~8B免费BGE-M3开源1024No多语言568M免费Jina v5 text开源自定义Yes多语言239M~0.6B免费mxbai-embed-large开源1024Yes英文335M免费图从类型、维度、MRL 支持、语言、参数规模和成本六个维度对比。06Benchmark 分数不等于你的业务效果我想特别提一个很多人会踩的坑只看 MTEB 排名做选型。MTEB 的测试数据不一定代表你的业务数据 Benchmark 测的是通用能力不是在你的领域里的能力 有些模型针对 Benchmark 做了优化但在特定领域可能表现一般用你自己的真实业务数据构造一个小型评测集500-1000 条 query-document 对对比不同模型的召回率和准确率。这比任何 Benchmark 分数都更能告诉你哪个模型更适合你的场景。07如果让我选型我会怎么判断分享一个我自己的选型思路。我不会一上来就看 MTEB 排名。我会按这个顺序思考第一步合规边界。数据能不能发到外部 API如果不能OpenAI、Cohere 就先排除只能选开源模型自部署。第二步语言需求。主要处理中文还是英文中文优先选 Qwen3 Embedding英文可以考虑 mxbai-embed-large。第三步资源约束。有没有 GPU资源够不够跑大模型资源有限就选 Jina v5 nano 或 Qwen3 0.6B。第四步成本预算。如果可以调 APIOpenAI small 版本的性价比极高。如果自建要算 GPU 成本是否划算。图从合规边界出发逐步缩小候选范围。用真实数据做 POC 是最后的验证环节。08不同场景的推荐方案场景一结构化文本知识库Markdown、FAQ、产品文档等规范内容。推荐 Single-vector Dense Embedding。首选 Qwen3 Embedding中文或 OpenAI small无合规限制。场景二多语言 / 中文企业知识库中英混合、行业术语多。推荐 Qwen3 Embedding首选备选 BGE-M3作为 baseline 对比。场景三快速上线验证想最快跑通 RAG 链路。推荐 OpenAI text-embedding-3-small一个 API Key5 分钟接入。场景四资源受限无 GPU、边缘部署推荐 Jina v5 nano239M 参数CPU 可跑备选 Qwen3 0.6B。场景五大规模向量存储成本敏感推荐支持 MRL 的模型 维度压缩。首选 Qwen3 Embedding压缩到 1024 或 512 维。09本章小结这一章我们系统对比了主流 Embedding 模型。核心要点OpenAI embedding-3快速上线首选但合规要评估Cohere embed-v4语义推理强多语言好Qwen3 Embedding中文 / 多语言开源首选BGE-M3成熟稳定的开源 baselineJina v5轻量部署、资源受限场景mxbai-embed-large英文场景表现好MRL大模型 维度压缩 省存储不牺牲太多质量但我最想强调的一点是不要只看 Benchmark 分数选型。用你自己的数据做 POC 对比比任何排行榜都靠谱。Embedding 模型选好了向量数据库也选好了下一步就是怎么把 RAG 系统搭起来、调起来。下一章我们会进入选型决策框架篇把向量数据库和 Embedding 模型放在一起系统梳理从项目启动到上线的完整决策链路。10参考资料MTEB BenchmarkOpenAI Embedding DocumentationCohere Embed DocumentationQwen3 EmbeddingBGE-M3Jina Embeddings v5mxbai-embed-large
上一章我们聊完了向量数据库的选型。但有一个问题可能比选数据库更早摆在你面前我该用什么 Embedding 模型来生成向量这个问题很容易被忽略。很多团队的默认做法是随便选一个 OpenAI 的 text-embedding跑通就上线。但我必须说一句实话Embedding 模型的选型可能比向量数据库的选型更影响 RAG 的最终效果。因为向量数据库只是存和查而 Embedding 模型决定了文本如何被理解。如果模型对语义的编码质量不行后面检索再快、数据库再强也没用。01先搞清楚Embedding 模型到底在比什么在开始对比之前我想先问你一个问题你知道评估一个 Embedding 模型好不好应该看哪些维度吗很多人第一反应是Benchmark 分数。没错MTEB 是目前最主流的评测平台。但 Benchmark 分数不等于你的业务效果。一个更实际的评估框架应该是这样的语义编码质量在你的业务数据上检索召回率怎么样 语言支持中文、中英混合、代码、表格能不能都处理好 维度大小向量维度越高存储和检索成本越高 部署方式是调 API 还是自己部署 成本API 按量收费自建需要 GPU 资源 延迟在线查询时Embedding 生成的速度够不够快 是否支持 MRL能不能灵活压缩维度选型的第一步不是谁分数最高而是我最看重哪些维度。02商业 API 模型省心但有边界先看商业 API 模型。这类模型的特点是接入简单、服务稳定、不需要自己管 GPU。目前最主流的两家是OpenAI和Cohere。OpenAI text-embedding-3 系列关键词快速接入、服务稳定、MRL 支持OpenAI 的 text-embedding-3 系列可能是目前使用最广泛的 Embedding 模型。它有两个版本text-embedding-3-small1536 维$0.008 / 百万 tokens text-embedding-3-large3072 维$0.13 / 百万 tokenssmall 版本性价比极高适合绝大多数场景。large 版本语义更精细但成本是 small 的 16 倍。优势很明确接入简单、服务稳定、支持 dimensions 参数控制输出维度、多语言支持不错。但边界也很清楚数据需要发送到 OpenAI 服务器合规问题、模型闭源无法微调、国内访问可能需要代理。如果你的项目数据没有合规限制想快速上线OpenAI text-embedding-3-small 是一个非常好的起点。Cohere embed-v4关键词多语言、语义推理强、100 语言Cohere 在国内知名度不如 OpenAI但在 Embedding 领域其实很强。embed-v4 的多语言支持好100 语言检索和推理能力比较强特别是在需要理解上下文、做语义推理的场景里表现不错。维度1024 |MRL支持 |成本$0.10 / 百万 tokens如果你的场景对语义推理要求比较高比如法律文档、合同分析Cohere 值得评估一下。03开源模型自由度高但要算清楚部署成本开源模型的核心价值是你可以自己部署数据不出内网可以微调可以控制版本。但开源免费不等于零成本。你需要 GPU 来跑推理需要工程团队来部署和维护。开源模型的成本从API 账单转移到了GPU 资源 工程运维上。这个账要提前算清楚。Qwen3 Embedding中文 / 多语言场景的首选关键词中文最强、多尺寸、MRL、阿里开源如果你在做一个中文知识库、中英混合文档系统我目前最推荐的开源模型是 Qwen3 Embedding。支持 100 语言中文表现尤其出色 提供 0.6B / 4B / 8B 三个尺寸 支持 MRL 自定义维度 阿里开源社区活跃中文资料丰富Qwen3 Embedding 对中文语义的理解能力在开源模型里是第一梯队。特别是在处理中文特有的表达方式、行业术语、中英混合内容时它的表现明显优于很多以英文为主训练的模型。如果你的项目是中文知识库、企业文档助手Qwen3 Embedding 是目前我最倾向推荐的选择。BGE-M3开源多语言 Baseline关键词成熟稳定、中文 baseline、568MBGE-M3 是北京智源研究院开源的多语言 Embedding 模型在很多 Benchmark 上是常用的 baseline。维度1024 | 参数量568M | 多语言 | 不支持 MRL优势是成熟、稳定、社区验证多。很多中文 RAG 项目的早期 POC 都是用它跑起来的。但它不支持 MRL如果你的向量库存储压力大这点需要考虑。BGE-M3 适合作为先跑通链路的 baseline。精细化阶段可以再评估是否换到更强的模型。Jina v5 text轻量部署的实用选择关键词轻量、239M nano、CPU 可跑Jina v5 系列在轻量部署方面做得很好。nano 版本只有 239M 参数可以在 CPU 上运行不需要 GPU。small 版本0.6B 参数 | nano 版本239M 参数 支持 MRL 维度压缩 | 多语言支持Jina v5 nano 适合资源受限场景、快速原型、或者需要在边缘设备上运行的场景。mxbai-embed-large英文场景的强手关键词英文优化、MRL 压缩质量好、335Mmxbai-embed-large 专门针对英文场景优化维度压缩后的质量保持得不错。但对于中文场景表现就不如 Qwen3 和 BGE-M3 了。纯英文知识库可以考虑 mxbai-embed-large中文场景还是优先考虑 Qwen3 或 BGE-M3。04MRL一个你可能忽略但很重要的特性我想特别聊一下 MRLMatryoshka Representation Learning套娃表征学习因为它是一个很有实用价值但很多人还不了解的特性。MRL 的核心思路是训练模型时让前 N 个维度就编码最重要的语义信息。这样你可以根据需要截取前 256、512、1024 维而不需要重新训练。图MRL 允许你按需截取向量维度在存储成本和语义质量之间灵活平衡。这有什么用呢省存储、提速度。3072 维 × 1000 万条 × 4 bytes ≈ 123 GB 1024 维 × 1000 万条 × 4 bytes ≈ 41 GB 512 维 × 1000 万条 × 4 bytes ≈ 20 GB从 3072 压缩到 1024检索质量的下降通常在 2-5% 以内但存储和检索成本的降低非常明显。如果你的数据规模大、存储成本高支持 MRL 的模型会让你在成本和质量之间找到更好的平衡点。05一张表建立全局认知模型类型维度MRL语言参数成本embedding-3-small商业 API1536Yes多语言闭源$0.008/Membedding-3-large商业 API3072Yes多语言闭源$0.13/MCohere embed-v4商业 API1024Yes100闭源$0.10/MQwen3 Embedding开源自定义Yes1000.6B~8B免费BGE-M3开源1024No多语言568M免费Jina v5 text开源自定义Yes多语言239M~0.6B免费mxbai-embed-large开源1024Yes英文335M免费图从类型、维度、MRL 支持、语言、参数规模和成本六个维度对比。06Benchmark 分数不等于你的业务效果我想特别提一个很多人会踩的坑只看 MTEB 排名做选型。MTEB 的测试数据不一定代表你的业务数据 Benchmark 测的是通用能力不是在你的领域里的能力 有些模型针对 Benchmark 做了优化但在特定领域可能表现一般用你自己的真实业务数据构造一个小型评测集500-1000 条 query-document 对对比不同模型的召回率和准确率。这比任何 Benchmark 分数都更能告诉你哪个模型更适合你的场景。07如果让我选型我会怎么判断分享一个我自己的选型思路。我不会一上来就看 MTEB 排名。我会按这个顺序思考第一步合规边界。数据能不能发到外部 API如果不能OpenAI、Cohere 就先排除只能选开源模型自部署。第二步语言需求。主要处理中文还是英文中文优先选 Qwen3 Embedding英文可以考虑 mxbai-embed-large。第三步资源约束。有没有 GPU资源够不够跑大模型资源有限就选 Jina v5 nano 或 Qwen3 0.6B。第四步成本预算。如果可以调 APIOpenAI small 版本的性价比极高。如果自建要算 GPU 成本是否划算。图从合规边界出发逐步缩小候选范围。用真实数据做 POC 是最后的验证环节。08不同场景的推荐方案场景一结构化文本知识库Markdown、FAQ、产品文档等规范内容。推荐 Single-vector Dense Embedding。首选 Qwen3 Embedding中文或 OpenAI small无合规限制。场景二多语言 / 中文企业知识库中英混合、行业术语多。推荐 Qwen3 Embedding首选备选 BGE-M3作为 baseline 对比。场景三快速上线验证想最快跑通 RAG 链路。推荐 OpenAI text-embedding-3-small一个 API Key5 分钟接入。场景四资源受限无 GPU、边缘部署推荐 Jina v5 nano239M 参数CPU 可跑备选 Qwen3 0.6B。场景五大规模向量存储成本敏感推荐支持 MRL 的模型 维度压缩。首选 Qwen3 Embedding压缩到 1024 或 512 维。09本章小结这一章我们系统对比了主流 Embedding 模型。核心要点OpenAI embedding-3快速上线首选但合规要评估Cohere embed-v4语义推理强多语言好Qwen3 Embedding中文 / 多语言开源首选BGE-M3成熟稳定的开源 baselineJina v5轻量部署、资源受限场景mxbai-embed-large英文场景表现好MRL大模型 维度压缩 省存储不牺牲太多质量但我最想强调的一点是不要只看 Benchmark 分数选型。用你自己的数据做 POC 对比比任何排行榜都靠谱。Embedding 模型选好了向量数据库也选好了下一步就是怎么把 RAG 系统搭起来、调起来。下一章我们会进入选型决策框架篇把向量数据库和 Embedding 模型放在一起系统梳理从项目启动到上线的完整决策链路。10参考资料MTEB BenchmarkOpenAI Embedding DocumentationCohere Embed DocumentationQwen3 EmbeddingBGE-M3Jina Embeddings v5mxbai-embed-large
