[发明专利]分布式数据计算方法、装置、计算机设备及可读存储介质

说明书

本发明实施例公开了一种分布式数据计算方法、装置、计算机设备及可读存储介质，其中所述方法包括将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器；控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。本发明可以动态分配计算任务，确保更高效地利用计算资源，提供最高效的计算性能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式数据计算方法、装置、计算机设备及可读存储介质。

背景技术

目前的佣金批量计算，尤其是保险行业的数据计算主要是基于多线程或 Hadoop为首的分布式计算技术。其中，多线程的分布式计算技术存在以下问题： 1、其扩展性差，性能过于依赖于单一硬件性能；2、大幅提升性能困难，无法实现大量的分布式计算。而以Hadoop为首的分布式计算技术则存在以下问题：1、其作为大数据分析工具处理数据计算并不完全合适；2、需要单独搭建异构系统，单独部署，运维成本高。

发明内容

本发明实施例提供一种分布式数据计算方法、装置、计算机设备及可读存储介质，能够动态分配计算任务，确保更高效地利用计算资源，提供最高效的计算性能。

一方面，本发明实施例提供了一种分布式数据计算方法，该方法包括：

将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；

根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite 任务管理器；

控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；

控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

另一方面，本发明实施例还提供了一种分布式数据计算装置，该装置包括：

存放单元，用于将根据预设规则生成的事件消息依次存放在消息中间件的消息队列中；

读取单元，用于根据第一预设规则依次读取消息队列中的若干个消息事件并发送给Ignite任务管理器；

统计单元，用于控制Ignite任务管理器统计服务器集群中的每个应用服务器的空闲的线程数量，以确定空闲的线程数量最多的应用服务器作为目标服务器，其中，所述服务器集群包括若干应用服务器，每个应用服务器包括若干线程；

处理单元，用于控制所述Ignite任务管理器将接收到的若干个消息事件发送给所确定的目标服务器，从而进行相应的数据计算。

又一方面，本发明实施例还提供了一种计算机设备，包括：

存储器，用于存储实现分布式数据计算的程序；以及

处理器，用于运行所述存储器中存储的实现分布式数据计算的程序，以执行如上所述方法。

再一方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行，以实现如上所述方法。