[发明专利]基于工业互联网的数据管理系统及方法

说明书

本发明提供了一种基于工业互联网的数据管理系统及方法，包括：质检机器端、质检平台端、ClickHouse数据库以及MySQL数据库，其中：质检机器端设置有多个，多个质检机器端通过HTTP网络将其检测的质检数据传输至质检平台端；质检平台端收到质检数据，对质检数据进行解构按照数据类型通过网络分别发送至Mysql数据库以及ClickHouse数据库。本文通过对数据持久化、平台化，解决了工业互联网领域下工业质检机数据不规范且分布于各自机器上所导致无法对大量质检数据进行综合分析以及明细数据分析的问题，通过数据平台访问极大降低了采集、维护、同步、统计、分析的成本，实现工业互联网场景下质检缺陷数据的自动化、持久化管理。

技术领域

本发明涉及数字信息传输领域，具体地，涉及一种基于工业互联网的数据管理系统及方法。

背景技术

在工业4.0时代，无论是产品生产、质检、销售各环节都离不开利用信息化技术来提高效率。由于产品质检机器的产品质检数据结构以及定义各有差距，无法对不同机器产生的数据进行汇总统计，并且缺少一个平台系统将分布在不同企业的不同质检机器的数据进行分析。

针对质检机器分布于不同工厂的客户端形态，对于产品质检环节下的各项数据结构不一的问题，急需一套完整的数据结构体系，数据结构需满足平台对质检数据的各项需求，形成统一数据结构，将数据通过网络上传至平台服务器，平台将各项数据进行解构后存入数据库。再由平台对质检数据进行数据处理和分析，最终根据用户需求，将各项数据进行管理最终展示于平台。

但上述过程有难点在于质检机工作环境往往是巨量的产品质检，在一些零部件产品生产过程中，往往一天会产生数百万条数据，那么使用Mysql数据库很难满足平台对于巨量数据的读取，在这样的数据场景下，本平台引入了ClickHouse数据库对质检数据进行维护。ClickHouse数据库有以下优点：

1.数据按列进行存储，适合聚合计算；

2.数据压缩空间大，减少IO传输；

3.索引类似跳表解构，无需满足最左原则；

4.写入速度非常快。

其优点满足平台对于质检数据各项聚合统计分析的需要；而质检机上传数据到平台时均为大量数据Json单次写入，数据压缩空间大，IO传输效率高，数据写入迅速，大量数据查询效率高。但ClickHouse明确不支持事物，不存在隔离级别，所以最终定位是分析型数据库，恰好符合质检机数据平台的定位；ClickHouse不支持高并发，由于平台面向用户人群较少，读取时不存在高并发的问题，这点完全符合平台的特性。而由于质检机器端的数据量巨大，考虑到巨大数据量写入后，历史数据会因为积累过多导致数据查询变慢，则采用历史库进行数据备份，防止因历史数据过多导致的查询效率渐次降低。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于工业互联网的数据管理系统及方法。

根据本发明提供的一种基于工业互联网的数据管理系统，包括：质检机器端、质检平台端、ClickHouse数据库以及MySQL数据库，其中：

质检机器端设置有多个，多个质检机器端通过HTTP网络将其检测的质检数据传输至质检平台端；

质检平台端收到质检数据，对质检数据进行解构按照数据类型通过网络分别发送至Mysql数据库以及ClickHouse数据库。

优选地，所述质检机器端包括数据发送模块，将质检数据进行结构重组拼装为所需的结构，并通过HTTP进行数据发送向质检平台端。

优选地，所述质检平台端包括数据采集模块，对接收到的数据进行筛选，去除数据结构非法的数据，筛选完成后将数据进行入库。

优选地，所述质检平台端根据配置以及查询参数对已有数据进行分析，根据不同维度进行聚合查询，将最终数据结构交给前端进行数据展示。

根据本发明提供的一种基于工业互联网的数据管理方法，包括如下步骤：