[发明专利]词与网页的关联度计算方法及装置

摘要

本发明提供一种词与网页的关联度计算方法及装置，本发明对网页的标题和正文内容进行分词及预处理，使用标题词与正文词构建词连接集合用于计算词的TextRank得分，将TextRank得分作为词与网页的关联度并保存到数据库。该方法采用TextRank得分作为关联度，可有效地反映词与网页的关联关系，将标题的词用于修正基于正文的词构建的词连接集合，并使用修正后的词连接集合计算词的TextRank得分，充分考虑了标题在网页信息中的重要性，有利于提升关联精度。

主权项

1.一种词与网页的关联度计算方法，其特征在于，包括以下步骤：步骤S100：读取网页的标题和正文内容，进行分词及词性标注，得到正文词列表bodyList和标题词列表titleList，对所述正文分词列表bodyList和所述标题分词列表titleList分别进行过滤预处理；步骤S200：构建词连接集合linkMap；步骤S300：根据所述标题词列表titleList对所述词连接集合linkMap进行修正，得到修正词连接集合，利用所述修正词连接集合计算所述网页中每个词的TextRank得分，得到每个词的得分集合scoreMap，过滤所述得分集合scoreMap中的常用词，余下的所述得分集合scoreMap中的词及其TextRank得分，即为词与网页的关联度；所述词连接集合linkMap的构建包括以下步骤：步骤S210：初始化队列queue、词连接集合linkMap和窗口大小N，遍历正文词列表bodyList，将第i个词A加入所述队列queue的尾部，若所述队列queue的长度大于N，则将所述队列queue的队首元素删除，若所述第i个词A不包含于所述词连接集合linkMap中，则将所述第i个词A加入词连接集合linkMap中并设置所述第i个词A的值为空集合；步骤S220：对所述队列queue中的所有任两元素进行比较，如果二者不相同则分别加入任两所述词连接集合linkMap的连接词集合中；步骤S230：遍历所述正文词列表bodyList，重复步骤S210～S220得到所述词连接集合linkMap。