[发明专利]数据抽取方法、装置、电子设备、存储介质及程序产品

说明书

本公开实施例公开了一种数据抽取方法、装置、电子设备、存储介质及程序产品，所述方法包括：响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种数据抽取方法、装置、电子设备、存储介质及程序产品。

背景技术

随着互联网技术以及大数据技术的发展，越来越多的数据会被请求和传输。现有技术中，当大数据平台从数据库中进行数据抽取时，很容易造成数据库负载过高甚至引发服务器瘫痪，尤其对于服务器存在多数据库实例而且数据库实例间的数据抽取是相互独立的情况，更是由于缺少数据抽取的调度机制而引发数据库负载过高。

发明内容

本公开实施例提供一种数据抽取方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种数据抽取方法。

具体的，所述数据抽取方法，包括：

响应于接收到数据抽取方发送的数据抽取请求，获取所述数据抽取请求携带的目标数据服务器地址和目标数据对象标识信息；

基于所述目标数据对象标识信息的数量确定目标数据对象请求数量；

根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，当所述目标数据对象请求数量小于或等于所述可接受数据对象请求数量时，确认所述数据抽取请求。

结合第一方面，本公开实施例在第一方面的第一种实现方式中，所述数据抽取请求还携带目标数据库实例标识信息和目标对象集合标识信息。

结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，还包括：

根据所述数据抽取请求生成目标数据服务器的数据抽取队列，其中，所述数据抽取队列包括：目标数据服务器地址、目标数据库实例标识信息、目标对象集合标识信息、目标数据对象标识信息、目标数据服务器接入状态和目标数据服务器可接受数据对象请求数量；

所述根据所述目标数据服务器地址获取所述目标数据服务器的可接受数据对象请求数量，被实施为：

根据所述目标数据服务器地址获取所述目标数据服务器的数据抽取队列，基于所述目标数据服务器的数据抽取队列确定所述目标数据服务器的可接受数据对象请求数量。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述根据所述数据抽取请求生成目标数据服务器的数据抽取队列，包括：

确定目标数据服务器可接受的最大数据对象接入数量和当前数据对象接入数量；

将最大数据对象接入数量减去当前数据对象接入数量，得到目标数据服务器可接受数据对象请求数量；

根据前一确认数据抽取请求及所述目标数据服务器可接受数据对象请求数量，生成目标数据服务器的数据抽取队列。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述确认所述数据抽取请求之后，还包括：

更新所述目标数据服务器的数据抽取队列。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，还包括：