Xinference 内置 Embedding 模型 e5-large-v2 部署指南从 CLI 启动到统一推理 API 调用【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference导读本文聚焦 Xinference 内置 Embedding 模型e5-large-v2intfloat/e5-large-v2系统讲解其规格参数、内置模型注册方式、命令行启动方法以及通过统一/v1/embeddings接口完成向量化的完整实战流程。读完本文你将掌握如何在 Xinference 中一条命令拉起 e5-large-v2、理解 1024 维向量与 512 token 上限对实际应用的约束并能使用 Python SDK 与 RESTful API 快速获取文本向量直接服务于 RAG、语义检索与文本聚类等场景。模型档案e5-large-v2 核心规格e5-large-v2 是嵌入Embedding模型家族中的一员在 Xinference 内置模型列表中的注册信息如下见 doc/source/models/builtin/embedding/e5-large-v2.rstModel Name模型名e5-large-v2Languages语言en面向英文文本Abilities能力embed文本嵌入/向量化规格参数参数取值Dimensions向量维度1024Max Tokens最大 token 数512Model IDHugging Faceintfloat/e5-large-v2Model IDModelScopeXorbits/e5-large-v21024 维向量意味着每条文本会被编码为一个长度为 1024 的浮点数向量适合与主流向量数据库如 Milvus、Qdrant、Chroma 等对接512 token 上限则提示超长文本在编码前需要做截断或分块chunking否则超出部分不会参与向量计算。内置注册表证据在 xinference/model/embedding/model_spec.json 中可以找到 e5-large-v2 的完整注册条目。它包含两个关键信息双模型源model_srcHugging Face 侧为intfloat/e5-large-v2revisionb322e09026e4ea05f42beadf4d661fb4e101d311ModelScope 侧为Xorbits/e5-large-v2revisionv0.0.1且仅支持none量化即不做量化加载。虚拟环境依赖声明virtualenv当启用虚拟环境时该模型在sentence_transformers引擎下依赖#sentence_transformers_dependencies#、#system_torchvision#与#system_torch#这些依赖宏由 Xinference 在创建虚拟环境时展开为具体包。相比同文件中的 bge 系列额外声明了FlagEmbedding与#vllm_dependencies#e5-large-v2 的依赖面更小。模型格式与默认推理引擎从注册表可以看到e5-large-v2 的model_format为pytorch。在加载路径上Xinference 的统一工厂函数 xinference/model/embedding/core.py 中的 create_embedding_model_instance 会依次执行通过match_embedding(model_name, model_format, quantization, download_hub)匹配内置模型族若未显式指定本地路径则通过EmbeddingCacheManager从 Hugging Face / ModelScope 下载并缓存模型权重默认引擎回退若调用方未指定model_engine代码明确注释“we use sentence_transformers as the default engine for all models”——即 Embedding 模型与 LLM 不同默认统一使用sentence_transformers引擎加载依据是否启用虚拟环境XINFERENCE_ENABLE_VIRTUAL_ENV选择对应的引擎实现类最终实例化并返回模型对象。因此对于 e5-large-v2你在大多数情况下无需关心引擎选择Xinference 会自动以 sentence-transformers 方式加载模型并对外提供统一推理接口。快速启动一条命令拉起 e5-large-v2启动 Xinference 服务后本地默认端口 9997执行以下命令即可拉起模型xinference launch --model-name e5-large-v2 --model-type embedding该命令的关键参数含义如下--model-name指定内置模型名e5-large-v2必须与内置注册表中的名称完全一致--model-type指定模型类型embeddingXinference 据此进入 Embedding 模型的管理与调度流程。此外xinference launch还支持若干可选参数可按需追加--model-format模型格式内置模型默认pytorch一般无需指定--quantization量化方式e5-large-v2 仅支持none--model-engine推理引擎默认回退到sentence_transformers--download-hub模型下载源可选huggingface或modelscope国内网络环境建议指定modelscope对应 ModelScope 侧的Xorbits/e5-large-v2--n-gpu使用的 GPU 数量单卡场景可省略--replica副本数用于多副本负载均衡。模型启动后Xinference 会为其分配一个model_uid默认与模型名相同后续所有推理请求都通过该 UID 定位模型实例。你也可以通过 Web UIXinference 控制台在「Launch Model」页面选择e5-large-v2图形化启动。获取向量通过统一 Embedding API 调用Xinference 对外暴露 OpenAI 兼容的/v1/embeddings接口e5-large-v2 启动后即可像调用任何其他 Embedding 模型一样使用。方式一Python SDK 客户端from xinference.client import Client client Client(http://localhost:9997) # model_uid 即启动时分配的模型标识默认等于模型名 embedding client.create_embedding( model_uide5-large-v2, input[What is deep learning?, How does RAG work?], ) print(embedding[data][0][embedding][:10]) # 查看第一个向量的前 10 维从 xinference/client/restful/restful_client.py 的 create_embedding 实现可以看到SDK 内部将请求体组装为{model: model_uid, input: input}并 POST 到{base_url}/v1/embeddings然后原样返回服务端 JSON。input参数支持str、List[str]、token ID 列表以及多模态字典等多种形态单次请求可批量传入多条文本。方式二原生 RESTful APIcurl -X POST http://localhost:9997/v1/embeddings \ -H Content-Type: application/json \ -d { model: e5-large-v2, input: [Xinference makes LLM inference easy.] }响应体中data[].embedding即为 1024 维向量data[].index与输入顺序一一对应。若服务开启了鉴权还需在请求头中携带Authorization。批量与截断注意批量输入一次传入多条文本可减少往返开销注意整体 token 量不要超出服务端承载超长截断e5-large-v2 的max_tokens为 512超出部分将被截断。对长文档建议先切块如 256~512 token 一块再逐块向量化避免信息丢失中文支持该模型语言标记为en主要面向英文语料。若处理中文文本可考虑同目录下内置的bge-base-zh、bge-large-zh、m3e-base等中文模型参见 Embedding 模型索引。验证与观测你可以通过以下方式确认模型状态查看运行中模型xinference list列出当前已启动的全部模型及其 UID、引擎、量化与副本信息终止模型xinference terminate --model-uid e5-large-v2释放显存与进程资源向量一致性校验对同一文本重复调用两次返回向量应完全一致无随机采样可用于本地缓存与去重场景。上述命令在 xinference/deploy/cmdline.py 对应的 CLI 入口中均有实现是运维排查时的常用手段。小结e5-large-v2 作为 Xinference 内置的英文 Embedding 模型以 1024 维向量和 512 token 上下文为典型特征支持 Hugging Face 与 ModelScope 双源下载默认由sentence_transformers引擎加载。通过xinference launch --model-name e5-large-v2 --model-type embedding一条命令即可完成部署随后借助 OpenAI 兼容的/v1/embeddings接口或 Python SDK 无缝获取向量为 RAG、语义搜索等上层应用提供稳定、统一、生产可用的向量化能力。【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Xinference 内置 Embedding 模型 e5-large-v2 部署指南从 CLI 启动到统一推理 API 调用【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference导读本文聚焦 Xinference 内置 Embedding 模型e5-large-v2intfloat/e5-large-v2系统讲解其规格参数、内置模型注册方式、命令行启动方法以及通过统一/v1/embeddings接口完成向量化的完整实战流程。读完本文你将掌握如何在 Xinference 中一条命令拉起 e5-large-v2、理解 1024 维向量与 512 token 上限对实际应用的约束并能使用 Python SDK 与 RESTful API 快速获取文本向量直接服务于 RAG、语义检索与文本聚类等场景。模型档案e5-large-v2 核心规格e5-large-v2 是嵌入Embedding模型家族中的一员在 Xinference 内置模型列表中的注册信息如下见 doc/source/models/builtin/embedding/e5-large-v2.rstModel Name模型名e5-large-v2Languages语言en面向英文文本Abilities能力embed文本嵌入/向量化规格参数参数取值Dimensions向量维度1024Max Tokens最大 token 数512Model IDHugging Faceintfloat/e5-large-v2Model IDModelScopeXorbits/e5-large-v21024 维向量意味着每条文本会被编码为一个长度为 1024 的浮点数向量适合与主流向量数据库如 Milvus、Qdrant、Chroma 等对接512 token 上限则提示超长文本在编码前需要做截断或分块chunking否则超出部分不会参与向量计算。内置注册表证据在 xinference/model/embedding/model_spec.json 中可以找到 e5-large-v2 的完整注册条目。它包含两个关键信息双模型源model_srcHugging Face 侧为intfloat/e5-large-v2revisionb322e09026e4ea05f42beadf4d661fb4e101d311ModelScope 侧为Xorbits/e5-large-v2revisionv0.0.1且仅支持none量化即不做量化加载。虚拟环境依赖声明virtualenv当启用虚拟环境时该模型在sentence_transformers引擎下依赖#sentence_transformers_dependencies#、#system_torchvision#与#system_torch#这些依赖宏由 Xinference 在创建虚拟环境时展开为具体包。相比同文件中的 bge 系列额外声明了FlagEmbedding与#vllm_dependencies#e5-large-v2 的依赖面更小。模型格式与默认推理引擎从注册表可以看到e5-large-v2 的model_format为pytorch。在加载路径上Xinference 的统一工厂函数 xinference/model/embedding/core.py 中的 create_embedding_model_instance 会依次执行通过match_embedding(model_name, model_format, quantization, download_hub)匹配内置模型族若未显式指定本地路径则通过EmbeddingCacheManager从 Hugging Face / ModelScope 下载并缓存模型权重默认引擎回退若调用方未指定model_engine代码明确注释“we use sentence_transformers as the default engine for all models”——即 Embedding 模型与 LLM 不同默认统一使用sentence_transformers引擎加载依据是否启用虚拟环境XINFERENCE_ENABLE_VIRTUAL_ENV选择对应的引擎实现类最终实例化并返回模型对象。因此对于 e5-large-v2你在大多数情况下无需关心引擎选择Xinference 会自动以 sentence-transformers 方式加载模型并对外提供统一推理接口。快速启动一条命令拉起 e5-large-v2启动 Xinference 服务后本地默认端口 9997执行以下命令即可拉起模型xinference launch --model-name e5-large-v2 --model-type embedding该命令的关键参数含义如下--model-name指定内置模型名e5-large-v2必须与内置注册表中的名称完全一致--model-type指定模型类型embeddingXinference 据此进入 Embedding 模型的管理与调度流程。此外xinference launch还支持若干可选参数可按需追加--model-format模型格式内置模型默认pytorch一般无需指定--quantization量化方式e5-large-v2 仅支持none--model-engine推理引擎默认回退到sentence_transformers--download-hub模型下载源可选huggingface或modelscope国内网络环境建议指定modelscope对应 ModelScope 侧的Xorbits/e5-large-v2--n-gpu使用的 GPU 数量单卡场景可省略--replica副本数用于多副本负载均衡。模型启动后Xinference 会为其分配一个model_uid默认与模型名相同后续所有推理请求都通过该 UID 定位模型实例。你也可以通过 Web UIXinference 控制台在「Launch Model」页面选择e5-large-v2图形化启动。获取向量通过统一 Embedding API 调用Xinference 对外暴露 OpenAI 兼容的/v1/embeddings接口e5-large-v2 启动后即可像调用任何其他 Embedding 模型一样使用。方式一Python SDK 客户端from xinference.client import Client client Client(http://localhost:9997) # model_uid 即启动时分配的模型标识默认等于模型名 embedding client.create_embedding( model_uide5-large-v2, input[What is deep learning?, How does RAG work?], ) print(embedding[data][0][embedding][:10]) # 查看第一个向量的前 10 维从 xinference/client/restful/restful_client.py 的 create_embedding 实现可以看到SDK 内部将请求体组装为{model: model_uid, input: input}并 POST 到{base_url}/v1/embeddings然后原样返回服务端 JSON。input参数支持str、List[str]、token ID 列表以及多模态字典等多种形态单次请求可批量传入多条文本。方式二原生 RESTful APIcurl -X POST http://localhost:9997/v1/embeddings \ -H Content-Type: application/json \ -d { model: e5-large-v2, input: [Xinference makes LLM inference easy.] }响应体中data[].embedding即为 1024 维向量data[].index与输入顺序一一对应。若服务开启了鉴权还需在请求头中携带Authorization。批量与截断注意批量输入一次传入多条文本可减少往返开销注意整体 token 量不要超出服务端承载超长截断e5-large-v2 的max_tokens为 512超出部分将被截断。对长文档建议先切块如 256~512 token 一块再逐块向量化避免信息丢失中文支持该模型语言标记为en主要面向英文语料。若处理中文文本可考虑同目录下内置的bge-base-zh、bge-large-zh、m3e-base等中文模型参见 Embedding 模型索引。验证与观测你可以通过以下方式确认模型状态查看运行中模型xinference list列出当前已启动的全部模型及其 UID、引擎、量化与副本信息终止模型xinference terminate --model-uid e5-large-v2释放显存与进程资源向量一致性校验对同一文本重复调用两次返回向量应完全一致无随机采样可用于本地缓存与去重场景。上述命令在 xinference/deploy/cmdline.py 对应的 CLI 入口中均有实现是运维排查时的常用手段。小结e5-large-v2 作为 Xinference 内置的英文 Embedding 模型以 1024 维向量和 512 token 上下文为典型特征支持 Hugging Face 与 ModelScope 双源下载默认由sentence_transformers引擎加载。通过xinference launch --model-name e5-large-v2 --model-type embedding一条命令即可完成部署随后借助 OpenAI 兼容的/v1/embeddings接口或 Python SDK 无缝获取向量为 RAG、语义搜索等上层应用提供稳定、统一、生产可用的向量化能力。【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
