[发明专利]利用多线程和优先队列获取多家电商大数据的方法及设备

说明书

本申请提供一种利用多线程和优先队列获取多家电商大数据的方法及计算设备。该方法包括：设置用于存储网店ID的队列，所述队列包括未执行常规队列、执行中常规队列、未执行优先队列、执行中优先队列；同时开启数量为N的多个第一线程；定时更新所述队列中的网店ID；利用所述多个第一线程优先根据所述未执行优先队列中的网店ID分别向所述电商平台请求不同网店的第一类数据；在所述未执行优先队列以及所述执行中优先队列中均无数据时，利用所述多个第一线程根据所述未执行常规队列中的网店ID分别向所述电商平台请求不同网店的第一类数据。根据本申请的方案，通过不同队列的设置并结合多线程，可以实现优先获取新增网店数据，并同时提高数据获取效率。

技术领域

本申请涉及机器学习及商业大数据技术领域，具体而言，涉及一种利用多线程和优先队列获取多家电商大数据的方法及计算设备。

背景技术

随着网络计算技术的发展，电子商务活动中产生了大量的商业大数据。例如，与传统行业相比，电商在其生态价值链上会产生海量可获取的原始电商数据。这些数据的获取、加工、或者有效利用，可对企业经营活动提供帮助，或者对企业经营决策提供支持。

一些电商平台已经开放了数据接口。为了充分利用电商平台提供的数据，例如，利用电商大数据进行风险评级，需要开发一种高效获取电商大数据的技术方案，从而可以充分利用电商大数据为企业经营活动提供帮助或支持。

在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请旨在提供一种利用多线程和优先队列获取多家电商大数据的方法及计算设备，可以实现优先获取例如新增网店的数据，并同时提高数据获取效率。

本申请的其该用户特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请的一方面，提供一种利用多线程和优先队列获取多家电商大数据的方法，包括：设置用于存储网店ID的队列，所述队列包括未执行常规队列、执行中常规队列、未执行优先队列、执行中优先队列；同时开启数量为N的多个第一线程；定时更新所述队列中的网店ID；利用所述多个第一线程优先根据所述未执行优先队列中的网店ID分别向所述电商平台请求不同网店的第一类数据；在所述未执行优先队列以及所述执行中优先队列中均无数据时，利用所述多个第一线程根据所述未执行常规队列中的网店ID分别向所述电商平台请求不同网店的第一类数据。

根据本申请的另一方面，提供一种计算设备，包括：处理器；存储器，所述存储器上存储有计算机程序；当所述处理器执行所述计算机程序时实现前述方法。

根据本申请的另一方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现前述的方法。

根据一些实施例，通过不同队列的设置并结合多线程获取数据，可以实现优先获取例如新增网店的数据，并同时提高数据获取效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。

图1示出本申请技术方案的一种应用场景的示意图。

图2示出根据本申请示例实施例的获取多家电商大数据的方法流程图。

图3示出根据实施例利用多个第一线程以线程安全的方式获取网店ID并从电商平台分别请求不同网店的第一类数据的操作流程图。

图4示出根据另一实施例利用多个第一线程以线程安全的方式获取网店ID并从电商平台分别请求不同网店的第一类数据的操作流程图。