[发明专利]一种基于微服务框架的综采工作面数据中台的节点管控方法

说明书

本发明公开了一种基于微服务框架的综采工作面数据中台的节点管控方法，本发明以数据中台为基础，打破现有技术壁垒。实时接收多系统的不同数据源中的数据，通过将各模块数据统一获取、处理并存储于数据中台，保证数据资源的准确性和完整性。当某个子系统需要使用该部分资源时，直接从数据中台调用，保证了数据使用的高效性和准确性。

技术领域

本发明属于节点管控领域，具体涉及一种基于微服务框架的综采工作面数据中台的节点管控方法。

背景技术

随着互联网的发展和轻量级运行技术的发展，越来越多的微服务框架也开始出现，然而目前常见的服务框架中，业务代码耦合严重，这将直接影响到代码的可维护性和可扩展性，导致开发人员在业务开发时，不得不去关注很多不必要的技术细节，诸如网络连接，代码解析结果等，从而降低了业务开发效率和代码质量。

现阶段矿井各子系统数据获取主要依靠自身，由于各子系统获取数据途径不同导致数据处理程度、数据处理精度和数据统计结果均不相同，为了打破现有技术壁垒，方便各子系统数据获取，及保证获取数据的准确性和完整性，提出本技术方案。

发明内容

本发明的目的在于克服上述不足，提供一种基于微服务框架的综采工作面数据中台的节点管控方法，实现高可用。

为了达到上述目的，本发明包括以下步骤：

S1，多系统实时接收不同数据源的数据；

S2，当接入的数据量超过Nginx负载均衡配置策略时，触发Round-Robin调度算法对数据指定轻负载IP服务节点进行数据分发；

S3，根据系统的数据压力，动态加强数据网关控制及负载均衡的能力；

S4，鉴权系统对数据分配权限，并将数据储于特定数据存储单元。

S1通过Hadoop大数据集群中心处理，Hadoop大数据集群中心用于对多源、多方式接入的数据做统一集中归纳、计算、编排和存储等，最终形成完整的数据。

Hadoop大数据集群中心的接收的数据包括以下方式导入：

通过KaFka数据直接接入，利用Flink内提前规划好的针对于不同数据不同结构的业务处理算法，对数据进行一次统计、分析和处理，并存入数仓内；

各系统内的业务数据、日志数据、操作数据和高可用备份数据利用Flink接入，根据其发送到数据报文，对数据进行分类、编排和存储，建立具备数据高密度、高复用率的数仓。

Flink内根据配置心中所提前规划好的算法和脚本，应用于各数据源各数据报文的标识。

Hadoop大数据集群中心采用节点高可用方式的进行HA全分布式部署。

S2中，通过KaFka数据采集系统进行同一数据订阅分发，KaFka数据采集系统对处理过后的数据进行的分发的方法如下：

数据将被传输至数仓内，作为实时数据存储；

实时数据在存储时根据配置中心静态获取的策略配置；

对实时数据进行范围性对数据进行打包，并重新赋予数据标识；

根据数据标识在Hbase内建立数据索引目录，并将需要展示的数据放在Mysql中。

S2中，通过KaFka数据采集系统进行同一数据订阅分发，KaFka数据采集系统对处理过后的数据进行的分发的方法如下：

侵入式接入时，修改其接入系统内部代码；

数据输入到监测服务组建中，由组件进行数据在其系统内容的分发和权限控制，同时监测数据传输周期；