[发明专利]一种基于PageRank算法的医疗数据爬取方法及系统

权利要求书

1.一种基于PageRank算法的医疗数据爬取方法，其特征在于，包括步骤：

S1、用户根据需要输入要爬取的医疗关键词；

S2、计算网页时间因子及潜在相关性因子；

S3、计算得到第一轮PR值，并临时存入数据库中；

S4、对各网页中的超链接进行权重计算；

S5、计算得到第二轮PR值，并更新数据库；

S6、比较PR值大小，用户根据需要获取PR值最大的N个网页；

S7、输出PR值最大的N个网页；

步骤S1具体包括：S11、用户根据爬取需要，自行设定关键词C；

步骤S2具体包括：

S21、计算网页的时间因子T_u，计算公式如下：

其中，δ为(0，1]之间的限定系数，保证分母在正常范围内；T_time为距离最近一次网页更新的时间间隔；T_number为最近一次下载的网页文件的数量；T_download为最近一次网页被下载的时间间隔；

S22、计算潜在相关性因子P_u，计算公式如下：

P_u＝α*inherited(current_url)+(1-α)*neighborhood(current_url)

其中，α为小于1的衰减因子，current_url表示当前链接，inherited(current_url)表示当前网页从父链接继承得到的分数，计算公式如下：

其中，β为小于1的衰减因子，parent_url为current_url的父链接；score(C，parent_url)为通过字符串匹配函数计算父链接与关键词C之间的相关性的分；inherited(parent_url)表示parent_url从其父节点继承得到的分数，μ为相关性阈值；

neiborhood(current_url)代表当前链接周围的文本与关键词之间的相关性，其计算公式如下：

neiborhood(current_url)

＝γ*ln(score(C，anchor)+1)+(1-γ)*ln(score(C，anchor_text)+1)

其中，γ为小于1的衰减因子，anchor代表当前链接中的文本信息，anchor_text代表当前链接周围的文本信息，即链接上下文；score(C，anchor)表示关键词与当前链接中文本信息的相关性得分，score(C，anchor_text)表示关键词与当前链接周围文本信息的相关性得分。

2.根据权利要求1所述的一种基于PageRank算法的医疗数据爬取方法，其特征在于，步骤S3具体包括：

S31、根据PageRank算法计算原始PR值，将时间因子和潜在相关性因子作为系数求得网页的第一轮PR值，计算公式如下：

其中，PR_old为第一次计算得到的网页PR值；d为阻尼系数；PR(M_i)表示网页M_i的原始页面排序分数；S(M_i)表示网页M_i的链出页面数目；n表示链入当前网页的网页数目；将计算结果存储到数据库中。