[发明专利]一种基于时间感知的增量机器爬虫方法

权利要求书

1.一种基于时间感知的增量机器爬虫方法，其特征在于，包括如下步骤：

第一步，根据每个页面的基于初始爬行时间表T＝{t₁,t₂,...,t_n}的相似性得分序列PTS和最大相似性阈值，去掉相似性得分序列PTS中大于最大相似性阈值的相似性得分，以组成优化的相似性得分序列new_PTS，并将所去掉的相似性得分对应的时间戳从初始爬行时间表中去掉，以得到优化的爬行计划时间表new_T；

第二步，如果优化的爬行计划时间表new_T的时间戳数|new_T|大于最佳爬行频次，就根据优化的相似性得分序列new_PTS得出降维后的时间感知相似性协方差矩阵；

第三步，用MIQP算法优化第二步中降维后的时间感知相似性协方差矩阵，得出页面的最佳爬行时间表；

第四步，根据第三步得到的页面的最佳爬行时间表，对发生变化的网页进行增量更新。

2.根据权利要求1所述的一种基于时间感知的增量机器爬虫方法，其特征在于，所述相似性得分序列PTS的获得方法为：根据初始爬行时间表T＝{t₁,t₂,...,t_n}中的时间戳监控目标页面P的更新情况，目标页面P在不同时间戳产生的快照的集合为P＝{P₁,P₂,...,P_n}，按照公式计算得到相邻页面P_i，P_j之间的相似性得分S(P_i，P_j)，从而得到目标页面P的相似性得分序列PTS＝{S(P₁，P₂),S(P₂，P₃),...,S(P_n-1，P_n)}，其中i、j均为1到n的自然数，且j＝i+1。

3.根据权利要求2所述的一种基于时间感知的增量机器爬虫方法，其特征在于，最佳爬行频次的获得方法为：

首先，根据页面的相似性得分构建时间感知相似性协方差矩阵M，M是n×n矩阵，在公式中，M_i，j表示在时间戳t_i和t_j上爬行的页面之间的相似性得分的平均值，f为爬行频次，b为布尔参数；

然后自定义多个不同的爬行频次，使用MIQP算法求解得出在不同的爬行频次下的爬行时间表，用所获得的爬行时间表与初始爬行时间表相比较，找出使爬虫结果的精确度、新鲜度和计算时间复杂度最优的、且最小的爬行频次作为页面的最佳爬行频次；所述的精确度是指爬行计划的信息精确度，表示为依据爬行时间表捕获的信息和依据初始爬行时间表捕获的信息之间的百分比；所述的新鲜度是指爬行计划的信息新鲜度，表示为依据爬行时间表捕获的最新信息和依据初始爬行时间表捕获的信息之间的百分比。

4.根据权利要求3所述的一种基于时间感知的增量机器爬虫方法，其特征在于，所述最大相似性阈值的获得方法是：在获得的最佳爬行频次下，自定义不同的相似性阈值，并用不同的相似性阈值分别对基于页面相似性得分的时间感知相似性协方差矩阵进行降维处理，构建降维后的基于页面相似性得分的时间感知相似性协方差矩阵，最后调用MIQP算法得到页面更新的爬行时间序列，用页面更新的爬行时间序列和初始爬行时间表相比较，找出使爬虫结果的精确度、新鲜度和MIQP算法的时间复杂度最优的、且最大的相似性阈值作为最大相似性阈值。