[发明专利]数据采集方法、任务调度方法、装置、设备、介质和程序

说明书

本公开实施例提供了一种数据采集方法、任务调度方法、装置、设备、介质和程序。该数据采集方法包括：从自助任务平台接收第一消息；基于所述第一消息采集第一目标数据；将所述第一目标数据经第一处理后发送至数据存储系统；以及将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。由此，能够在基于第一消息采集数据之后，将第一消息经处理反馈到自助任务平台，使得自助任务平台可以基于该信息生成后续采集指令，实现基于业务维度对数据采集任务进行编排，从而可以根据业务需要进行有限的数据采集，并保证采集数据的合理性和连续性，得到的数据完整、可靠。

技术领域

本公开涉及计算机领域，更具体地，涉及一种数据采集方法、任务调度方法、装置、设备、介质和程序。

背景技术

随着信息技术的快速发展，虚拟业务线已经深入到各行各业，每条业务线的数据量也出现了迅猛增长。目前各业务数据来源方的数据比较割裂，难以完整地进行处理分析。一些数据同步技术由于同步压力大，需要大量的网络和存储资源，成本较高。

发明内容

为了解决相关技术中的问题，本公开实施例提供了一种数据采集方法、任务调度方法、装置、设备、介质和程序。

本公开的一个方面提供了一种数据采集方法，包括：从自助任务平台接收第一消息；基于所述第一消息采集第一目标数据；将所述第一目标数据经第一处理后发送至数据存储系统；以及将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。

可选地，所述基于所述第一消息采集第一目标数据包括：在所述第一消息中包括采集参数的情况下，基于所述采集参数采集第一目标数据；或者，在所述第一消息为空消息的情况下，基于默认参数采集第一目标数据。

可选地，所述第一处理包括数据清洗、数据分析和数据汇总中的部分或全部，所述第二处理包括数据筛选。

本公开的另一个方面提供了一种任务调度方法，包括：发送第一消息，所述第一消息用于触发数据采集系统执行第一采集任务；接收来自所述数据采集系统的反馈消息；基于所述反馈消息生成第二消息；以及发送所述第二消息，所述第二消息用于触发所述数据采集系统执行第二采集任务。

可选地，所述发送第一消息包括：响应于满足触发条件，生成并发送第一消息，其中，所述触发条件包括正在执行的任务数量少于第一阈值、资源占用率低于第二阈值以及到达预定时刻中的至少一种，所述第一消息为携带采集参数的消息或空消息。

本公开的另一个方面提供了一种数据采集装置，包括第一接收模块、采集模块、第一发送模块和第二发送模块。其中，第一接收模块，被配置为从自助任务平台接收第一消息；采集模块，被配置为基于所述第一消息采集第一目标数据；第一发送模块，被配置为将所述第一目标数据经第一处理后发送至数据存储系统；第二发送模块，被配置为将所述第一目标数据经第二处理后发送至所述自助任务平台，其中，所述第一处理和所述第二处理相同或不同。

本公开的另一个方面提供了一种任务调度装置，包括第三发送模块、第二接收模块、生成模块和第四发送模块。其中，第三发送模块，被配置为发送第一消息，所述第一消息用于触发数据采集系统执行第一采集任务；第二接收模块，被配置为接收来自所述数据采集系统的反馈消息；生成模块，被配置为基于所述反馈消息生成第二消息；第四发送模块，被配置为发送所述第二消息，所述第二消息用于触发所述数据采集系统执行第二采集任务。

本公开的另一个方面提供了一种电子设备，包括，至少一个处理器以及至少一个存储器，用于存储一个或多个计算机可读指令，其中，当所述一个或多个计算机可读指令被所述至少一个处理器执行时，使得所述处理器执行如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。