[发明专利]词与网页的关联度计算方法及装置

说明书

本发明提供一种词与网页的关联度计算方法及装置，本发明对网页的标题和正文内容进行分词及预处理，使用标题词与正文词构建词连接集合用于计算词的TextRank得分，将TextRank得分作为词与网页的关联度并保存到数据库。该方法采用TextRank得分作为关联度，可有效地反映词与网页的关联关系，将标题的词用于修正基于正文的词构建的词连接集合，并使用修正后的词连接集合计算词的TextRank得分，充分考虑了标题在网页信息中的重要性，有利于提升关联精度。

技术领域

本发明涉及爬词技术领域，具体的涉及一种词与网页的关联度计算方法及装置。

背景技术

随着互联网的快速发展，每天都有海量新闻资讯产生，这些信息在互联网上以HTML网页文档的形式进行传播。但是海量的信息对用户高效的检索和获取信息带来了极大挑战，各种搜索引擎与推荐系统等应用的出现为其提供了有效的途径，而建立词与网页之间的关联关系是这些应用的基础。词与网页之间的关联关系通过关联度来表示其关联关系的大小，目前词与网页之间的关联度主要以词在网页正文中的TF-IDF(词频-逆向文件频率)值来表示。

现有的以词在网页正文中的TF-IDF值作为文本的关联度计算方法存在以下缺点：1、需要在文本集合上计算，所得结果易受文本集的内容影响；2、IDF(逆文本频度)的简单结构不能有效地反映词的重要程度和分布情况，作为关联度精度不高；3、只考虑了网页正文词的统计信息，忽略了网页标题所包含的与网页最相关的词信息。

发明内容

本发明的目的在于提供一种词与网页的关联度计算方法及装置，该发明解决了现有技术中关联度计算结果易受文本集的内容影响、IDF关联度计算精度不高、忽略网页标题所含信息的技术问题。

本发明的一方面提供一种词与网页的关联度计算方法，包括以下步骤：

步骤S100：读取网页的标题和正文内容，进行分词及词性标注，得到正文词列表bodyList和标题词列表titleList，对正文分词列表bodyList和标题分词列表titleList分别进行过滤预处理；

步骤S200：构建词连接集合linkMap；

步骤S300：根据标题词列表titleList对词连接集合linkMap进行修正，得到修正词连接集合，利用修正词连接集合计算网页中每个词的TextRank得分，得到每个词的得分集合scoreMap，过滤得分集合scoreMap中的常用词，余下的得分集合scoreMap中的词及其TextRank得分，即为词与网页的关联度。

进一步地，词连接集合linkMap的构建包括以下步骤：

步骤S210：初始化队列queue、词连接集合linkMap和窗口大小N，遍历正文词列表bodyList，将第i个词A加入队列queue的尾部，若队列queue的长度大于N，则将队列queue的队首元素删除，若第i个词A不包含于词连接集合linkMap中，则将第i个词A加入词连接集合linkMap中并设置第i个词A的值为空集合；步骤S220：对队列queue中的所有任两元素进行比较，如果二者不相同则分别加入任两词连接集合linkMap的连接词集合中；步骤S230：遍历正文词列表bodyList，重复步骤S210～S220得到词连接集合linkMap。

进一步地，过滤预处理步骤包括过滤停用词，并保留名词、动词、形容词及副词。

进一步地，步骤S300包括以下步骤：

步骤S310：计算词连接集合linkMap中每个词的连接词集合大小的平均值记为M，从词连接集合linkMap中选取前M个连接词集合最大的词构建词集合reviseSet；