[发明专利]适于URL数据抓取中对数据缓存的方法及装置

权利要求书

1.一种适于URL数据抓取中对数据缓存的方法，包括：

周期性抓取URL数据；

将每次抓取的URL数据均有序缓存到第一布隆过滤器Bloomfilter存储容器和第二Bloomfilter存储容器中，其中，第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量相同；

在URL数据的存储过程中，监控所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的URL数据存储量；

根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器。

2.根据权利要求1所述的方法，其中，所述根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器，包括：

在所述第一Bloomfilter存储容器储存的数据存储量首次到达预设临界值时，清空所述第二Bloomfilter存储容器。

3.根据权利要求2所述的方法，其中，所述根据监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器，还包括：

在所述第二Bloomfilter存储容器首次被清空后，

当所述第二Bloomfilter存储容器的数据存储量再次达到预设临界值时，清空所述第一Bloomfilter存储容器；以及

当所述第一Bloomfilter存储容器的数据存储量再次达到预设临界值时，清空所述第二Bloomfilter存储容器。

4.根据权利要求2或3所述的方法，其中，所述预设临界值为存储容量的1/2。

5.根据权利要求1至4任一项所述的方法，其中，所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量根据抓取URL数据的周期变化进行调节。

6.一种适于URL数据抓取中对数据缓存的装置，包括：

数据抓取器，配置为周期性抓取URL数据；

第一布隆过滤器Bloomfilter存储容器，配置为有序缓存所述数据抓取器每次抓取的URL数据；

第二Bloomfilter存储容器，与所述第一Bloomfilter存储容器容量相同，配置为与所述第一Bloomfilter存储容器同步有序缓存所述数据抓取器每次抓取的URL数据；

监控器，配置为在URL数据的存储过程中，监控所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的URL数据存储量；

数据清空器，配置为根据所述监控器监控的数据存储情况，轮流清空所述第二Bloomfilter存储容器和所述第一Bloomfilter存储容器。

7.根据权利要求6所述的装置，其中，所述数据清空器还配置为：

在所述监控器监控到所述第一Bloomfilter存储容器储存的数据存储量首次到达预设临界值时，清空所述第二Bloomfilter存储容器。

8.根据权利要求7所述的装置，其中，所述数据清空器还配置为：

在所述第二Bloomfilter存储容器首次被清空后，

当所述监控器监控到所述第二Bloomfilter存储容器的数据存储量再次达到预设临界值时，清空所述第一Bloomfilter存储容器；以及

当所述监控器监控到所述第一Bloomfilter存储容器的数据存储量再次达到预设临界值时，清空所述第二Bloomfilter存储容器。

9.根据权利要求7或8所述的装置，其中，所述预设临界值为存储容量的1/2。

10.根据权利要求6至9任一项所述的装置，其中，还包括：

容量调节器，配置为根据所述数据抓取器抓取URL数据的周期变化，对所述第一Bloomfilter存储容器和第二Bloomfilter存储容器的存储容量进行调节。