1. 本周任务确定《M3-Embedding》文章期刊BGE模型是否必须用大语言模型。下载BGE模型2. 查阅《Bge m3-embedding》是一篇发表在国际自然语言处理顶级会议ACL 2024上的会议论文。根据中国计算机学会的推荐目录ACL会议属于最高级别的A类会议。引用次数754关于数据隐私问题如果只是在本地部署模型数据只是在本地被转换为向量存储在本地不会存在数据泄露的风险。如果把数据发送给云端大模型生成一个更加流畅、生成式的答案或者使用云端API调用BGE模型才会发发生数据泄露的可能性。3. bge-large-zh-v1.5因为bge-large-zh-v1.5是专门处理中文的所以这周先下载这个模型来测试一下。链接在https://ai.gitcode.com/BAAI/bge-base-zh-v1.5BGE还有其他特别多的模型也表现的比较好可以后面再尝试一下。BGE提供两种安装包括需要微调和不需要微调。如下详情见https://github.com/FlagOpen/FlagEmbedding/blob/master/README_zh.md安装依赖pip install FlagEmbedding加载模型# 加载BGE模型 try: self.bge_model FlagModel( BAAI/bge-large-zh-v1.5, query_instruction_for_retrieval为这个句子生成表示以用于检索相关文章, use_fp16True if self.device cuda else False ) print(BGE模型加载成功) except Exception as e: print(fBGE模型加载失败: {e})第一次使用时会自动下载模型。测试bge原来bge原来由于在系统里面测试的效果不好而且对比不明显下面单独写几个python文件来测试1BERT vs BGE关于上面的测试前三个是高度相似的文本中间三个是中等相似的文本最后三个是低相似度的文本。可以看到BGE相似度一直比BERT模型低对于高相似度文本这是比较不好的地方。但是也注意到对于中等相似和低相似度可以说是不相关的文本bert也是相似度在95%以上。原本的BERT模型几乎将所有文本都映射到非常相似的向量空间。2BERT模型微调过关键词 vs BGE仅计算相似度之前测试过的一部分例子可以看到经过微调之后BERT的相似度会有所下降没有原来一直在一个很高的范围但是相比较来说几乎也是在70%以上。而BGE的总体相似度是会比BERT更低但是对于比较不相关的相似度比比较低区分度比较大。最后一张图片是随便输入的两个比较不相关的例子可以看到两个模型的表现也是和测试过的差不多。3BERT模型微调过关键词 vs BGE仅计算相似度关键词上面加了和原BERT一样的关键词处理的结果但是BGE好像并不需要这样的处理因为BGE模型原本就可以比较好的理解语义而且加了之后根据结果看出并没有提升相似比。4. 小结1. 关于BGE与BERT的对比结果可以看出BGE的所有相似度都略低于BERT包括相关文本和不相关文本。2. 上面是还没有微调的模型测试的结果接下来可以尝试微调模型测试结果。3. 最后分享一个视频关于词向量的演进https://www.bilibili.com/video/BV1CWV6zKEBn/?spm_id_from333.1007.top_right_bar_window_history.content.clickvd_source55c13df40a8e87fe0644fd9fe14daf44
1. 本周任务确定《M3-Embedding》文章期刊BGE模型是否必须用大语言模型。下载BGE模型2. 查阅《Bge m3-embedding》是一篇发表在国际自然语言处理顶级会议ACL 2024上的会议论文。根据中国计算机学会的推荐目录ACL会议属于最高级别的A类会议。引用次数754关于数据隐私问题如果只是在本地部署模型数据只是在本地被转换为向量存储在本地不会存在数据泄露的风险。如果把数据发送给云端大模型生成一个更加流畅、生成式的答案或者使用云端API调用BGE模型才会发发生数据泄露的可能性。3. bge-large-zh-v1.5因为bge-large-zh-v1.5是专门处理中文的所以这周先下载这个模型来测试一下。链接在https://ai.gitcode.com/BAAI/bge-base-zh-v1.5BGE还有其他特别多的模型也表现的比较好可以后面再尝试一下。BGE提供两种安装包括需要微调和不需要微调。如下详情见https://github.com/FlagOpen/FlagEmbedding/blob/master/README_zh.md安装依赖pip install FlagEmbedding加载模型# 加载BGE模型 try: self.bge_model FlagModel( BAAI/bge-large-zh-v1.5, query_instruction_for_retrieval为这个句子生成表示以用于检索相关文章, use_fp16True if self.device cuda else False ) print(BGE模型加载成功) except Exception as e: print(fBGE模型加载失败: {e})第一次使用时会自动下载模型。测试bge原来bge原来由于在系统里面测试的效果不好而且对比不明显下面单独写几个python文件来测试1BERT vs BGE关于上面的测试前三个是高度相似的文本中间三个是中等相似的文本最后三个是低相似度的文本。可以看到BGE相似度一直比BERT模型低对于高相似度文本这是比较不好的地方。但是也注意到对于中等相似和低相似度可以说是不相关的文本bert也是相似度在95%以上。原本的BERT模型几乎将所有文本都映射到非常相似的向量空间。2BERT模型微调过关键词 vs BGE仅计算相似度之前测试过的一部分例子可以看到经过微调之后BERT的相似度会有所下降没有原来一直在一个很高的范围但是相比较来说几乎也是在70%以上。而BGE的总体相似度是会比BERT更低但是对于比较不相关的相似度比比较低区分度比较大。最后一张图片是随便输入的两个比较不相关的例子可以看到两个模型的表现也是和测试过的差不多。3BERT模型微调过关键词 vs BGE仅计算相似度关键词上面加了和原BERT一样的关键词处理的结果但是BGE好像并不需要这样的处理因为BGE模型原本就可以比较好的理解语义而且加了之后根据结果看出并没有提升相似比。4. 小结1. 关于BGE与BERT的对比结果可以看出BGE的所有相似度都略低于BERT包括相关文本和不相关文本。2. 上面是还没有微调的模型测试的结果接下来可以尝试微调模型测试结果。3. 最后分享一个视频关于词向量的演进https://www.bilibili.com/video/BV1CWV6zKEBn/?spm_id_from333.1007.top_right_bar_window_history.content.clickvd_source55c13df40a8e87fe0644fd9fe14daf44
![【MSC】规范精讲[9]: 发出去的包不是泼出去的水——HCI 缓冲区与流控的记账全流程](http://pic.xiahunao.cn/yaotu/【MSC】规范精讲[9]: 发出去的包不是泼出去的水——HCI 缓冲区与流控的记账全流程)
