[发明专利]利用多线程和优先队列获取多家电商大数据的方法及设备

权利要求书

1.一种利用多线程和优先队列获取多家电商大数据的方法，其特征在于，包括：

设置用于存储网店ID的队列，所述队列包括未执行常规队列、执行中常规队列、未执行优先队列、执行中优先队列；

同时开启数量为N的多个第一线程；

定时更新所述队列中的网店ID；

利用所述多个第一线程优先根据所述未执行优先队列中的网店ID分别向所述电商平台请求不同网店的第一类数据；

在所述未执行优先队列以及所述执行中优先队列中均无数据时，利用所述多个第一线程根据所述未执行常规队列中的网店ID分别向所述电商平台请求不同网店的第一类数据。

2.如权利要求1所述的方法，其特征在于，N个第一线程向所述电商平台请求数据的能力大于所述电商平台对第一类数据的请求限制。

3.如权利要求2所述的方法，其特征在于，N-1个第一线程向所述电商平台请求数据的能力小于所述电商平台对第一类数据的请求限制。

4.如权利要求1所述的方法，其特征在于，利用所述多个第一线程优先根据所述未执行优先队列中的网店ID分别向所述电商平台请求不同网店的第一类数据，包括利用每个线程重复执行以下操作：

从所述未执行优先队列获取网店ID；

将获取到的网店ID放入所述执行中优先队列；

在根据获取到的网店ID完成向所述电商平台请求相应的第一类数据之后，将所述网店ID从所述执行中优先队列移除。

5.如权利要求4所述的方法，其特征在于，在所述未执行优先队列以及所述执行中优先队列中均无数据时，利用所述多个第一线程根据所述未执行常规队列中的网店ID分别向所述电商平台请求不同网店的所述第一类数据，包括利用每个线程重复执行以下操作：

从所述未执行优先队列获取网店ID；

如果没有从所述未执行优先队列获取到网店ID且所述执行中优先队列不为空，则延时后返回至从所述未执行优先队列获取网店ID；

如果没有从所述未执行优先队列获取到网店ID且所述执行中优先队列为空，则从所述未执行常规队列获取网店ID；

将获取到的网店ID放入所述执行中常规队列；

在根据获取到的网店ID完成向所述电商平台请求相应的所述第一类数据之后，将所述网店ID从所述执行中常规队列移除。

6.如权利要求5所述的方法，其特征在于，所述未执行常规队列和所述未执行优先队列为基于单线程内存存储系统的队列。

7.如权利要求6所述的方法，其特征在于，所述单线程内存存储系统包括Redis系统。

8.如权利要求1所述的方法，其特征在于，还包括：将所述第一类数据存储于分布式文件系统。

9.如权利要求8所述的方法，其特征在于，所述分布式文件系统包括FastDFS系统。

10.如权利要求8所述的方法，其特征在于，还包括：将所述分布式文件系统中的所述第一类数据存储于分布式数据库系统。

11.如权利要求10所述的方法，其特征在于，所述分布式数据库系统包括TiDB系统。

12.一种计算设备，其特征在于，包括：

处理器；

存储器，所述存储器上存储有计算机程序；

当所述处理器执行所述计算机程序时实现如权利要求1-11中任一项所述的方法。