[发明专利]词与网页的关联度计算方法及装置

权利要求书

1.一种词与网页的关联度计算方法，其特征在于，包括以下步骤：

步骤S100：读取网页的标题和正文内容，进行分词及词性标注，得到正文词列表bodyList和标题词列表titleList，对所述正文分词列表bodyList和所述标题分词列表titleList分别进行过滤预处理；

步骤S200：构建词连接集合linkMap；

步骤S300：根据所述标题词列表titleList对所述词连接集合linkMap进行修正，得到修正词连接集合，利用所述修正词连接集合计算所述网页中每个词的TextRank得分，得到每个词的得分集合scoreMap，过滤所述得分集合scoreMap中的常用词，余下的所述得分集合scoreMap中的词及其TextRank得分，即为词与网页的关联度；

所述词连接集合linkMap的构建包括以下步骤：

步骤S210：初始化队列queue、词连接集合linkMap和窗口大小N，遍历正文词列表bodyList，将第i个词A加入所述队列queue的尾部，若所述队列queue的长度大于N，则将所述队列queue的队首元素删除，若所述第i个词A不包含于所述词连接集合linkMap中，则将所述第i个词A加入词连接集合linkMap中并设置所述第i个词A的值为空集合；

步骤S220：对所述队列queue中的所有任两元素进行比较，如果二者不相同则分别加入任两所述词连接集合linkMap的连接词集合中；

步骤S230：遍历所述正文词列表bodyList，重复步骤S210～S220得到所述词连接集合linkMap。

2.根据权利要求1所述的词与网页的关联度计算方法，其特征在于，所述过滤预处理步骤包括过滤停用词，并保留名词、动词、形容词及副词。

3.根据权利要求1所述的词与网页的关联度计算方法，其特征在于，步骤S300包括以下步骤：

步骤S310：计算所述词连接集合linkMap中每个词的连接词集合大小的平均值记为M，从所述词连接集合linkMap中选取前M个连接词集合最大的词构建词集合reviseSet；

步骤S320：遍历所述标题词列表titleList中的标题词，若所述标题词不包含于所述词连接集合linkMap中，则将所述标题词加入所述词连接集合linkMap并将所述词集合reviseSet中的所有词加入到所述标题词的连接词集合中；

若所述标题词包含于所述词连接集合linkMap中，则将所述词集合reviseSet中除所述标题词之外的所有词加入所述标题词的连接词集合中；

步骤S330：遍历reviseSet判断其中每个词是否是所述标题词，如果该词不是所述标题词则将该词加入该词在所述词连接集合linkMap中对应的连接词集合；否则，不做处理；

步骤S340：遍历所述标题词列表titleList，重复步骤S310～330得到修正词连接集合。