【ollama】基于ollama的lancedb的RAG余弦和L2的区别文本切分然后转成向量入库查询文本转向量ai聚合余弦和L2的区别余弦相似度余弦距离 dist_cosL2 距离 dist_l2相关性0.950.050.316极高相似0.800.200.632高度相似0.700.300.775比较相关0.550.450.949弱相关0.500.501.000临界0.400.601.095基本无关文本切分然后转成向量入库vectorWrite.pyfromlangchain_text_splittersimportRecursiveCharacterTextSplitterimportrequests# 0.34importlancedbfromdocximportDocumentimportreimporttime# 配置区 DOCX_PATHrD:\OneboxBackup\kedd\allword\Flink on hudi 最佳实践.docxDB_FOLDER./lance_kbTABLE_NAMEdocument_knowledge# 这个是要在ollma那边去安装的模型OLLAMA_EMB_MODELbgezh:latestOLLAMA_URLhttp://xxxxx:11434/api/embedVEC_DIM512CHUNK_SIZE500CHUNK_OVERLAP80# defclean_text(s:str)-str:ifnotisinstance(s,str):returnss.strip()ss.replace(\n, )sre.sub(r\s, ,s)returnsdefget_embedding(text:str,is_query:boolFalse,timeout30):raw_txtclean_text(text)ifnotraw_txt:raiseValueError(清洗后文本为空无法生成向量)ifis_query:promptf为这个句子生成表示以用于检索相关文章{raw_txt}else:promptraw_txt payload{model:OLLAMA_EMB_MODEL,input:prompt}resprequests.post(OLLAMA_URL,jsonpayload,timeouttimeout)resp.raise_for_status()res_jsonresp.json()embres_json.get(embeddings)ifnotemborlen(emb)0:raiseRuntimeError(fOllama返回空embedding文本片段{prompt[:100]}...)# 自动兼容二维嵌套 [[向量]]ifisinstance(emb[0],list):embemb[0]vec_list[float(num)fornuminemb]returnvec_listdefload_docx(file_path:str)-str:docDocument(file_path)paragraphs[p.text.strip()forpindoc.paragraphsifp.text.strip()]ifnotparagraphs:raiseValueError(文档读取为空请检查docx文件)return\n\n.join(paragraphs)text_splitterRecursiveCharacterTextSplitter(separators[\n\n,。,,,,\n,],chunk_sizeCHUNK_SIZE,chunk_overlapCHUNK_OVERLAP,length_functionlen)if__name____main__:dblancedb.connect(DB_FOLDER)ifTABLE_NAMEindb.list_tables():db.drop_table(TABLE_NAME)print(f✅ 旧表{TABLE_NAME}已删除\n)full_textload_docx(DOCX_PATH)print(文档读取完成开始切分文本……)chunkstext_splitter.split_text(full_text)print(f一共切分为{len(chunks)}个文本片段\n)data_rows[]skip_count0foridx,seg_textinenumerate(chunks):print(f正在处理片段{idx1}/{len(chunks)})try:vecget_embedding(seg_text,is_queryFalse)iflen(vec)!VEC_DIM:print(f⚠️ 片段{idx1}向量维度异常{len(vec)}跳过)skip_count1continuedata_rows.append({id:fseg_{idx},text:seg_text,vector:vec})time.sleep(0.15)exceptExceptionase:skip_count1print(f❌ 片段{idx1}生成向量失败:{str(e)})continueprint(f\n有效写入片段{len(data_rows)}跳过失败片段{skip_count})iflen(data_rows)0:print(没有任何有效向量终止写入)else:tbldb.create_table(TABLE_NAME,datadata_rows,modeoverwrite)print(✅ 创建新表并写入向量数据)# 兼容0.34.0最终检索写法 print(\n 检索自测【L2距离越小越相似】 )queryFlink 和 Hudi 如何整合实现增量处理q_vecget_embedding(query,is_queryTrue)resultstbl.search(q_vec).limit(3).to_list()foriteminresults:print(fL2距离:{item[_distance]:.4f})print(f文本:\n{item[text]}\n)查询文本转向量ai聚合vectorRead.pyimportlancedbimportrequestsimportre 高度相关0.95 弱相关0.95 ~ 1.05 无关1.05 如果你发现很多相关文档被过滤可以适度把阈值上调到 1.10。 # 配置区 DB_FOLDER./lance_kbTABLE_NAMEdocument_knowledgeOLLAMA_BASE_URLhttp://xxxx:11434OLLAMA_EMB_MODELbgezh:latestOLLAMA_CHAT_MODELds05288b:latestTOP_K3# 【重点修改】改成L2距离阈值DISTANCE_THRESHOLD0.95# defclean_text(s:str)-str:统一文本清洗入库、查询两边保持完全一致ifnotisinstance(s,str):returnss.strip()ss.replace(\n, )# 多个空白压缩为单个空格sre.sub(r\s, ,s)returnsdefget_embedding(text:str,is_query:boolTrue,timeout30): BGE-ZH 专用Embedding和入库代码完全对齐 is_queryTrue用户提问带检索指令 is_queryFalse知识库原始文本 textclean_text(text)ifis_query:promptf为这个句子生成表示以用于检索相关文章{text}else:prompttext urlf{OLLAMA_BASE_URL}/api/embed# 和入库统一使用 input 字符串不再用inputs数组payload{model:OLLAMA_EMB_MODEL,input:prompt}try:resprequests.post(url,jsonpayload,timeouttimeout)resp.raise_for_status()res_jsonresp.json()embres_json[embeddings]# 自动处理嵌套二维 [[向量]]ifisinstance(emb[0],list):embemb[0]returnembexceptExceptionase:print(f【Embedding请求失败】{e})raisedefsearch_kb(query_text:str,limitTOP_K):向量检索lancedb 0.34.0 移除metric参数默认L2距离dblancedb.connect(DB_FOLDER)tbldb.open_table(TABLE_NAME)query_vecget_embedding(query_text,is_queryTrue)# 删除 metriccosineresultstbl.search(query_vec).limit(limit).to_list()returnresultsdefollama_answer(user_question:str,context:str,timeout60):基于知识库上下文生成答案严格禁止幻觉sys_prompt 你是知识库问答助手严格遵守规则 1. 只允许依据【参考知识库内容】作答严禁编造任何不存在信息 2. 如果参考资料不足以回答问题直接回复知识库中暂无相关信息 3. 不要脑补、不要拓展、不要添加原文没有的数据 4. 回答简洁通顺不要冗余。 【参考知识库内容】 {context} urlf{OLLAMA_BASE_URL}/api/chatpayload{model:OLLAMA_CHAT_MODEL,stream:False,temperature:0.0,messages:[{role:system,content:sys_prompt.format(contextcontext)},{role:user,content:user_question}]}try:resprequests.post(url,jsonpayload,timeouttimeout)resp.raise_for_status()res_jsonresp.json()returnres_json[message][content]exceptExceptionase:returnf【请求Ollama对话模型异常】{str(e)}if__name____main__:print( LanceDB RAG查询工具L2距离检索 )print(输入 quit 退出\n)whileTrue:questioninput(请输入查询问题)qquestion.strip()ifq.lower()quit:breakifnotq:continuetry:res_listsearch_kb(q)exceptExceptionase:print(f检索异常{e}\n)continueprint(\n----------原始检索结果----------)valid_context[]foridx,iteminenumerate(res_list,1):distitem[_distance]# 打印文字修改为L2距离防止混淆print(f\n[{idx}] L2距离:{dist:.4f})print(f文本{item[text]})ifdistDISTANCE_THRESHOLD:valid_context.append(item[text])print(\n AI回答 )ifnotvalid_context:print(知识库中暂无相关信息)else:ctx_str\n\n.join(valid_context)ansollama_answer(q,ctx_str)print(ans)print(\n\n)
【ollama】基于ollama的lancedb的RAG余弦和L2的区别文本切分然后转成向量入库查询文本转向量ai聚合余弦和L2的区别余弦相似度余弦距离 dist_cosL2 距离 dist_l2相关性0.950.050.316极高相似0.800.200.632高度相似0.700.300.775比较相关0.550.450.949弱相关0.500.501.000临界0.400.601.095基本无关文本切分然后转成向量入库vectorWrite.pyfromlangchain_text_splittersimportRecursiveCharacterTextSplitterimportrequests# 0.34importlancedbfromdocximportDocumentimportreimporttime# 配置区 DOCX_PATHrD:\OneboxBackup\kedd\allword\Flink on hudi 最佳实践.docxDB_FOLDER./lance_kbTABLE_NAMEdocument_knowledge# 这个是要在ollma那边去安装的模型OLLAMA_EMB_MODELbgezh:latestOLLAMA_URLhttp://xxxxx:11434/api/embedVEC_DIM512CHUNK_SIZE500CHUNK_OVERLAP80# defclean_text(s:str)-str:ifnotisinstance(s,str):returnss.strip()ss.replace(\n, )sre.sub(r\s, ,s)returnsdefget_embedding(text:str,is_query:boolFalse,timeout30):raw_txtclean_text(text)ifnotraw_txt:raiseValueError(清洗后文本为空无法生成向量)ifis_query:promptf为这个句子生成表示以用于检索相关文章{raw_txt}else:promptraw_txt payload{model:OLLAMA_EMB_MODEL,input:prompt}resprequests.post(OLLAMA_URL,jsonpayload,timeouttimeout)resp.raise_for_status()res_jsonresp.json()embres_json.get(embeddings)ifnotemborlen(emb)0:raiseRuntimeError(fOllama返回空embedding文本片段{prompt[:100]}...)# 自动兼容二维嵌套 [[向量]]ifisinstance(emb[0],list):embemb[0]vec_list[float(num)fornuminemb]returnvec_listdefload_docx(file_path:str)-str:docDocument(file_path)paragraphs[p.text.strip()forpindoc.paragraphsifp.text.strip()]ifnotparagraphs:raiseValueError(文档读取为空请检查docx文件)return\n\n.join(paragraphs)text_splitterRecursiveCharacterTextSplitter(separators[\n\n,。,,,,\n,],chunk_sizeCHUNK_SIZE,chunk_overlapCHUNK_OVERLAP,length_functionlen)if__name____main__:dblancedb.connect(DB_FOLDER)ifTABLE_NAMEindb.list_tables():db.drop_table(TABLE_NAME)print(f✅ 旧表{TABLE_NAME}已删除\n)full_textload_docx(DOCX_PATH)print(文档读取完成开始切分文本……)chunkstext_splitter.split_text(full_text)print(f一共切分为{len(chunks)}个文本片段\n)data_rows[]skip_count0foridx,seg_textinenumerate(chunks):print(f正在处理片段{idx1}/{len(chunks)})try:vecget_embedding(seg_text,is_queryFalse)iflen(vec)!VEC_DIM:print(f⚠️ 片段{idx1}向量维度异常{len(vec)}跳过)skip_count1continuedata_rows.append({id:fseg_{idx},text:seg_text,vector:vec})time.sleep(0.15)exceptExceptionase:skip_count1print(f❌ 片段{idx1}生成向量失败:{str(e)})continueprint(f\n有效写入片段{len(data_rows)}跳过失败片段{skip_count})iflen(data_rows)0:print(没有任何有效向量终止写入)else:tbldb.create_table(TABLE_NAME,datadata_rows,modeoverwrite)print(✅ 创建新表并写入向量数据)# 兼容0.34.0最终检索写法 print(\n 检索自测【L2距离越小越相似】 )queryFlink 和 Hudi 如何整合实现增量处理q_vecget_embedding(query,is_queryTrue)resultstbl.search(q_vec).limit(3).to_list()foriteminresults:print(fL2距离:{item[_distance]:.4f})print(f文本:\n{item[text]}\n)查询文本转向量ai聚合vectorRead.pyimportlancedbimportrequestsimportre 高度相关0.95 弱相关0.95 ~ 1.05 无关1.05 如果你发现很多相关文档被过滤可以适度把阈值上调到 1.10。 # 配置区 DB_FOLDER./lance_kbTABLE_NAMEdocument_knowledgeOLLAMA_BASE_URLhttp://xxxx:11434OLLAMA_EMB_MODELbgezh:latestOLLAMA_CHAT_MODELds05288b:latestTOP_K3# 【重点修改】改成L2距离阈值DISTANCE_THRESHOLD0.95# defclean_text(s:str)-str:统一文本清洗入库、查询两边保持完全一致ifnotisinstance(s,str):returnss.strip()ss.replace(\n, )# 多个空白压缩为单个空格sre.sub(r\s, ,s)returnsdefget_embedding(text:str,is_query:boolTrue,timeout30): BGE-ZH 专用Embedding和入库代码完全对齐 is_queryTrue用户提问带检索指令 is_queryFalse知识库原始文本 textclean_text(text)ifis_query:promptf为这个句子生成表示以用于检索相关文章{text}else:prompttext urlf{OLLAMA_BASE_URL}/api/embed# 和入库统一使用 input 字符串不再用inputs数组payload{model:OLLAMA_EMB_MODEL,input:prompt}try:resprequests.post(url,jsonpayload,timeouttimeout)resp.raise_for_status()res_jsonresp.json()embres_json[embeddings]# 自动处理嵌套二维 [[向量]]ifisinstance(emb[0],list):embemb[0]returnembexceptExceptionase:print(f【Embedding请求失败】{e})raisedefsearch_kb(query_text:str,limitTOP_K):向量检索lancedb 0.34.0 移除metric参数默认L2距离dblancedb.connect(DB_FOLDER)tbldb.open_table(TABLE_NAME)query_vecget_embedding(query_text,is_queryTrue)# 删除 metriccosineresultstbl.search(query_vec).limit(limit).to_list()returnresultsdefollama_answer(user_question:str,context:str,timeout60):基于知识库上下文生成答案严格禁止幻觉sys_prompt 你是知识库问答助手严格遵守规则 1. 只允许依据【参考知识库内容】作答严禁编造任何不存在信息 2. 如果参考资料不足以回答问题直接回复知识库中暂无相关信息 3. 不要脑补、不要拓展、不要添加原文没有的数据 4. 回答简洁通顺不要冗余。 【参考知识库内容】 {context} urlf{OLLAMA_BASE_URL}/api/chatpayload{model:OLLAMA_CHAT_MODEL,stream:False,temperature:0.0,messages:[{role:system,content:sys_prompt.format(contextcontext)},{role:user,content:user_question}]}try:resprequests.post(url,jsonpayload,timeouttimeout)resp.raise_for_status()res_jsonresp.json()returnres_json[message][content]exceptExceptionase:returnf【请求Ollama对话模型异常】{str(e)}if__name____main__:print( LanceDB RAG查询工具L2距离检索 )print(输入 quit 退出\n)whileTrue:questioninput(请输入查询问题)qquestion.strip()ifq.lower()quit:breakifnotq:continuetry:res_listsearch_kb(q)exceptExceptionase:print(f检索异常{e}\n)continueprint(\n----------原始检索结果----------)valid_context[]foridx,iteminenumerate(res_list,1):distitem[_distance]# 打印文字修改为L2距离防止混淆print(f\n[{idx}] L2距离:{dist:.4f})print(f文本{item[text]})ifdistDISTANCE_THRESHOLD:valid_context.append(item[text])print(\n AI回答 )ifnotvalid_context:print(知识库中暂无相关信息)else:ctx_str\n\n.join(valid_context)ansollama_answer(q,ctx_str)print(ans)print(\n\n)
