[发明专利]一种基于私有协议的数据处理集群组件方法及系统

说明书

本发明提出的一种基于私有协议的数据处理集群组建方法及系统，包括：发送端集群向接收端集群发送HTTP请求，根据检索的集群信息建立与远程集群的连接；连接完成后，根据流量控制机制进行数据传输；发送端集群根据数据处理需求选择接收端集群进行多集群的数据分布处理。本发明实现了数据的分步处理，充分发挥每个节点、集群的硬件优势，并能够适应复杂的网络环境，实现了负载削峰和流量控制。

技术领域

本发明涉及计算机技术领域，更具体的说是涉及一种基于私有协议的数据处理集群组建方法及系统。

背景技术

目前集群处理数据的方式主要是通过集群管理器进行资源调度、集群监控，为了实现分布式计算目的，采用多集群并行处理数据。大多数情况中，每个集群节点根据硬件配置不同，在读取数据，数据处理，数据存储等方面各有所长。

比如当前常用的Hadoop、Spark等数据集群方案，都是节点在注册中心注册，通过集群管理器进行资源调度、集群监控。但是，上述数据集群方案不能结合节点终端的优势发送数据处理。在处理完成后无法以同样的方式获取数据分析节点的信息，将数据发送到数据分析节点，再以同样的方式持久化数据。

发明内容

针对以上问题，本发明的目的在于提供一种基于私有协议的数据处理集群组建方法及系统，能够实现数据的分布式处理。

本发明为实现上述目的，通过以下技术方案实现：一种基于私有协议的数据处理集群组建方法，包括：

发送端集群向接收端集群发送HTTP请求，根据检索的集群信息建立与远程集群的连接；

连接完成后，根据流量控制机制进行数据传输；

发送端集群根据数据处理需求选择接收端集群进行多集群的数据分布处理。

进一步，所述检索的集群信息包括：接收端集群的连接地址、端口号、支持的数据传输协议和加密方式。

进一步，所述建立与远程集群的连接时，根据接收端集群支持的数据传输协议确定采用的数据传输协议。

进一步，若发送端集群无法与接收端集群建立连接，发送端集群先向接收端集群所述网络的代理服务器发送HTTP请求，并建立连接；然后通过代理服务器向接收端集群进行数据传输。

进一步，所述流量控制机制包括：

在接收端集群设置消息中间件，数据传输时，发送端集群先将数据发送至消息中间件，消息中间件根据当前接收端集群的数据负载确定数据传输速度，并根据确定的传输速度将数据传输至接收端集群的数据处理服务器。

进一步，所述发送端集群根据数据处理需求选择接收端集群进行多集群的数据分布处理包括：

若当前的数据处理需求为数据读取，发送端集群选择具有固态硬盘的集群作为接收端集群并进行连接；

若当前的数据处理需求为机器学习、深度学习模型的训练，发送端集群选择具有GPU的集群作为接收端集群并进行连接；

若当前的数据处理需求为数据入库操作，发送端集群选择任意集群作为接收端集群并进行连接。

进一步，所述接收端集群支持的数据传输协议包括：Socket协议、HTTP协议、HTTPS协议、UDP协议。

相应的，本发明还公开了一种基于私有协议的数据处理集群组建系统，包括：

选择单元，用于根据数据处理需求选择接收端集群进行多集群的数据分布处理；

连接单元，用于发送端集群向接收端集群发送HTTP请求，根据检索的集群信息建立与远程集群的连接；

流量控制单元，用于执行流量控制机制进行数据传输。