[发明专利]一种用于集群的集成应用处理方法和装置

说明书

本发明涉及一种用于集群的集成应用处理方法和装置，属于大数据技术领域，解决了由于各集成节点资源是自动分配而导致服务器的资源利用率不高或者在某些极端大数据量或高并发集成而导致的某个集成应用集成效率低的问题。方法包括：根据集成应用的使用频率将多个集成应用部署在一个或多个节点上；预先设置每个集成应用的接口调用并发数阈值和接口接收数据量阈值；在当前集成应用的接口并发数超出了接口调用并发数阈值或接口接收数据量超出了接口接收数据量阈值后，拒绝本次调用；否则将源系统中的关联数据结构传送至集群并进行批量集成；将批量集成的关联数据结构传送至目标系统。充分利用服务器资源并且保障集成应用的高可用性和稳定性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种用于集群的集成应用处理方法和装置。

背景技术

企业在信息化发展过程中，由于各业务系统的建设时间和建设要求不一样，会导致企业内存在多个异构系统，为了解决信息孤岛等问题，两个或多个系统间需要进行数据集成来实现数据同源共享。在两个或多个系统间进行数据集成时，数据集成应用的可用性和稳定性关系到整个数据集成的数据传输成败，所以对数据集成来说集成运行平台的可用性和稳定性显得尤为重要。

在传统的数据集成过程中，企业的数据集成应用的运行平台一般都是集群部署。参考图1，由于集群部署的各集成节点资源是自动分配，一个集成应用部署在集群中时，每个节点(节点1至节点6)都会有该集成应用(集成应用1至6等)，但对于数据集成而言，各集成应用的使用频率、传输的数据量大小、并发数都是根据该集成应用承载的具体业务不一样而存在差异。由于各集成节点资源是自动分配，就会造成部分节点特别繁忙，部分节点空闲，服务器的资源利用率不高，而且在集群节点中不能单独保护特别重要的集成应用，在有限的服务器资源下，就会带来集成应用的可用性和稳定性不高的情况；传统模式下，由于没有对单个集成应用控制并发数和接收的最大数据量，在某些极端大数据量或高并发集成的情况下，导致某个集成应用集成效率较低，由于服务器的内存或线程池不足等问题导致整个集成服务出现卡顿甚至卡死的情况。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种用于集群的集成应用处理方法和装置，用以解决由于各集成节点资源是自动分配而导致服务器的资源利用率不高或者在某些极端大数据量或高并发集成的情况下，会导致某个集成应用集成效率较低的问题。

一方面，本发明实施例提供了一种用于集群的集成应用处理方法，包括：根据集成应用的使用频率将多个集成应用部署在所述集群的一个或多个节点上；预先设置每个集成应用的接口调用并发数阈值和接口接收数据量阈值；当调用方调用的当前集成应用的接口并发数超出了所述接口调用并发数阈值或者当前集成应用的接口接收数据量超出了所述接口接收数据量阈值后，拒绝本次调用；否则将源系统中的关联数据结构传送至所述集群并进行批量集成；以及在所述集群中将所述关联数据结构批量集成之后，将批量集成的关联数据结构传送至目标系统。

上述技术方案的有益效果如下：通过控制集成应用安装的方式，集成应用按需选择集群节点进行部署、控制集成应用的接口调用并发数并可以对集成应用单独设置并发数、控制集成应用的接口接收数据量并可以对集成应用单独设置接收数据量，在充分利用了服务器资源，且保障重点集成业务的同时保障集成应用的高可用性和稳定性。

基于上述方法的进一步改进，根据集成应用的使用频率将多个集成应用部署在所述集群的一个或多个节点上进一步包括：当所述集成应用的使用频率高时，将所述集成应用部署在所述集群中的较多节点上；当所述集成应用的使用频率低时，将所述集成应用部署在所述集群中的较少节点上；以及当所述集成应用是重点保障的集成应用时，将所述集成应用部署在所述集群中的单独节点上。

基于上述方法的进一步改进，预先设置每个集成应用的接口调用并发数阈值和接口接收数据量阈值进一步包括：对于所述多个集成应用中的每个集成应用，预先设置每个集成应用的接口调用方的最大数量作为接口调用并发数阈值；以及预先设置每个集成应用的接口接收的最大数据量作为所述接口接收数据量阈值。