[发明专利]一种基于海量数据的数据交换方法

权利要求书

1.一种基于海量数据的数据交换方法，包括集中式数据中心、若干个数据从节点和一个镜像仓库；其特征在于，包括如下步骤：

S1：集中式数据中心接收到消息请求后，获取最不经常使用的数据从节点信息；

S2：集中式数据中心通过消息队列与最不经常使用的数据从节点进行通信，向其所在的主题队列发送消息以及对应的镜像文件；

S3：数据从节点订阅消息队列中的主题；

S4：数据从节点自动去本地镜像仓库拉取所需的算法镜像；

S5：拉取的镜像赋予数据从节点一定的计算能力，对采集的数据进行预处理；

S6：数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列；

S7：集中式数据中心从接收主题队列中获取到处理结果后，记录在本地然后直接返回给消息请求者。

2.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，所述步骤S5包括子步骤：

S501：通过镜像部署容器的方式为数据从节点提供计算方法；

S502：通过对镜像的扩展与精简来提高数据从节点的计算能力。

3.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，在一些高敏任务中，所述步骤S5包括子步骤：

S503：数据从节点通过下载算法镜像获取特定的预警计算功能；

S504：根据预警计算功能的评估指标对采集数据进行评估；

S505：判断评估分数是否满足预设的期望值，若未满足，则通过消息队列将该采集任务下发到用户群进行预警。

4.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，需要在一定物理范围内多个从节点高可靠运行协调任务时，所述步骤S2后还包括：

S21：在多个数据从节点上热备多个容器任务；

S22：当其中一个容器任务异常退出，其他数据从节点的容器任务自动进行选举运行。

5.根据权利要求1所述的一种基于海量数据的数据交换方法，其特征在于，所述数据从节点具备存储功能，能够存储关键元数据信息，当存在实时响应需求时，可以在本地处理数据从而快速响应。