毕设 基于SPIMI的新闻搜索引擎系统(源码+论文)

文章目录0 前言1 项目运行效果2 设计概要3 核心部分4 最后0 前言这两年开始毕业设计和毕业答辩的要求和难度不断提升传统的毕设题目缺少创新和亮点往往达不到毕业答辩的要求这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。并且很难找到完整的毕设参考学习资料。为了大家能够顺利以及最少的精力通过毕设学长分享优质毕业设计项目提供大家参考学习今天要分享的是毕业设计 基于SPIMI的新闻搜索引擎系统(源码论文)学长这里给一个题目综合评分(每项满分5分)难度系数3分工作量3分创新点4分项目分享见主页任意置顶文章1 项目运行效果视频效果毕业设计 基于SPIMI的新闻搜索引擎系统2 设计概要本文简要介绍了基于Internet的新闻搜索引擎的基本体系结构,并详尽的阐述了新闻搜索引擎的基本实现原理。基于这些原理自己实现了一个简单的搜索—新闻搜索。本新闻搜索引擎是在特定的web网页中由超链接来解析和搜索新闻通过索引以后写入到数据库中去首先用户在客户端输入需要查找的新闻关键词然后web服务器从索引数据库找到与该关键词匹配的新闻呈现在用户面前。为实现该课题本新闻搜索引擎使用python语言开发调用相关技术通过爬虫代码获取新闻网站的数据提取信息并对新闻数据的文本进行预处理索引和检索使用BM25聚类评分算法可以按相关度、时间和热度排序实现相似新闻聚类实现相关新闻推荐。抓取器根据相应的协议对网络站点进行访问并收集各个站点的信息然后将抓取到的网页数据送入解析器进行解析将解析后从页面中提取出来的Url信息送入Url列表中进行下一轮抓取解析后的页面信息以文本文件的形式保存在数据库中。然后依据词典进行词汇切分得到网页的特征信息并进行词频、词位(置)、词长、网页等级的统计分析在此基础上建立索引数据库。在用户进行检索时根据用户输入的查询关键字对索引数据库进行访问最后将查询结果按照某种排序算法进行排序并将查询结果以图形界面的方式返回给查询用户。3 核心部分本设计没有直接使用布尔检索而是采用构建倒排索引的方法如果采用布尔检索的话它仅仅只能返回含有指定关键字的文件,举个例子在我们搜索“运动健美”的时候如果文档中含有“运动”、“健美”那么该文档将会被退回。虽然布尔检索的效率非常高它的速度非常块但是对于结果的排序、文档关键词出现频率的统计它就无法完成举个例子一个文档中如果出现了23个“节食”另一个文档中出现了1个“节食”显然他们的相关度是不一样。所以需要对布尔检索进行一定的改进。在文档分析中我们不仅要判断关键字存在与否还要计算文档中关键字的频率也就是文档中关键字的频次在这里我们简称为词频tf并记录该文档的总长度ld和不同文件中指定字词出现的次数简称为文档频率df。篇幅有限更多详细设计见设计论文4 最后项目包含内容完整详细设计论文项目分享见主页任意置顶文章