[发明专利]基于集群计算的数据批处理方法、装置、电子设备及介质

说明书

本申请涉及计算机虚拟化服务技术领域，公开了一种基于集群计算的数据批处理方法、装置、电子设备及介质，其中，基于集群计算的数据批处理方法包括：获取批量待处理数据；将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理；接收各缓存服务返回的数据处理结果。本申请实施例的方法，使得各缓存服务器对批量待处理数据进行并行处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。

技术领域

本申请涉及计算虚拟化服务技术领域，具体而言，本申请涉及一种基于集群计算的数据批处理方法、装置、电子设备及介质。

背景技术

随着大数据时代的来临，大数据的批处理也吸引了越来越多的关注，已被广泛的运用在企业运营的各个方面的数据处理中，企业对于大数据处理需求也越来越多样化。

批处理是批量数据处理的环境，可以支持整批的数据处理进程，通常是在自动控制流程中递交批处理的作业，用来处理数据库或文件的批量访问或更新。在自动控制流程完善的条件下，整个批处理过程可以无需人工干预的完成。

但是在现有技术下实现大数据的批处理，需要通过命令行的形式逐条输入操作命令，以在中心服务器中进行大数据的批处理操作，但是中心服务器的处理能力毕竟有限，面对数据量比较大的批量待处理数据，不仅存在处理效率低下、处理便利性差的缺点，而且会出现响应延时的问题，导致用户需要等候较长时间之后才能获取到批量操作的返回结果，极大降低了用户体验。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是处理效率低下、处理便利性差及出现响应延时的技术缺陷。

第一方面，提供了一种基于集群计算的数据批处理方法，包括：

获取批量待处理数据；

将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理；

接收各缓存服务返回的数据处理结果。

第二方面，提供了一种基于集群计算的数据批处理装置，包括：

获取模块，用于获取批量待处理数据；

处理模块，用于将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理；

接收模块，用于接收各缓存服务返回的数据处理结果。

第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述的基于集群计算的数据批处理方法。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于集群计算的数据批处理方法。

本申请实施提供的基于集群计算的数据批处理方法，获取批量待处理数据，为后续批量待处理数据的处理操作奠定基础，将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对批量待处理数据进行并行处理，使得中心服务器不对批量待处理数据进行任何实质性处理，而由各缓存服务器并行执行批量待处理数据的具体处理，不仅提高了缓存服务器的使用效率，而且极大提高了大批量数据情况下的数据处理响应速度，有效避免了中心服务器处理批量数据导致的响应延时的问题，极大提升用户体验。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明