[发明专利]一种基于热轧工业大数据的数据挖掘的方法

说明书

本发明涉及一种基于热轧工业大数据的数据挖掘的方法，属于热轧产线产品质量判定技术领域。本发明的技术方案是：将热轧各产线的二级系统数据、三级MES数据、DCA文件解析的连续值数据分别从不同的数据库中采集至大数据平台mpp集成的postgreSQL数据库中；将大数据平台中整合后的热轧钢卷数据进行统计分析，从而指导生产热轧钢卷。本发明的有益效果是：可以清晰明了的掌握热轧整个产线的各个重要监测点参数的数据、以及订单合同、客户需求、冶金规范要求等数据内容，从而能够根据整体数据信息来指导热轧产线的过程质量生产。

技术领域

本发明涉及一种基于热轧工业大数据的数据挖掘的方法，属于热轧产线产品质量判定技术领域。

背景技术

随着大数据相关技术的发展，数据分析、数据处理、数据融合技术逐步应用在各个领域中。在这些领域中大部分均需要对多个数据源采集的数据进行融合处理，再进行后续分析处理。

在热轧生产钢卷过程中产生的海量细粒度数据大部分沉淀在现场，相关数据从全局来未予以整合利用，处于局部、短期分析应用阶段。如何将二级的单值数据、三级MES的产销数据以及DCA文件解析的连续值数据合理融合起来，并进行分类统计分析数据，更好的指导生产过程，是钢铁企业近年来面临的一大难题。

发明内容

本发明目的是提供一种基于热轧工业大数据的数据挖掘的方法，将不同系统上的不同数据库中的生产数据融合在一起，方便技术人员整体了解热轧完整产线的各个监测点参数，并根据冶金规范值能够实时指导热轧生产，这种生产在线实时化质量管理，可辅助操作部门及维护部门迅速的掌握制程之稳定性要点，进而改善制程上的缺失；二级系统单值数据、三级MES产销数据以及DCA文件解析的连续值数据的融合，整体呈现可以根据订单合同以及客户需求来严格完成产品制造的指导，进而提高订单合格率；质量部门得以提高钢品质量的判定精准度，有效防止不良品外流，使得产品质量符合市场需求，提升公司整体竞争力，有效地解决了背景技术中存在的上述问题。

本发明的技术方案是：一种基于热轧工业大数据的数据挖掘的方法，包含以下步骤：

步骤1：将热轧各产线的二级系统数据、三级MES数据、DCA文件解析的连续值数据分别从不同的数据库中采集至大数据平台mpp集成的postgreSQL数据库中；

步骤2：将采集到的数据按照产线划分为单值和连续值数据，分类进行整合；单值数据主要来源有三部分：二级系统数据、三级MES数据和log日志文件监听数据，绝大多数的单值数据由二级系统数据中的生产实际表中数据和生产记录表数据根据热轧钢卷号进行匹配；部分单值数据来源于三级MES数据中的产销系统中数据，根据热轧钢卷号将合同订单信息和公差上下限等冶金规范数据以及原料信息等整合到单值数据中；剩余部分单值数据来源于监听的log日志文件数据，该部分数据监听解析后根据热轧钢卷号融合到单值数据中；连续值数据主要来源于DCA文件解析的连续值数据，该部分数据由C++程序解析生产现场的DCA文件获取，并将获取到的连续值信息根据钢卷号和钢卷位置将各个参数值拼接成json格式存储至数据库中，同时结合三级MES数据中的规范标准，进而能够在绘制各个参数曲线时能够体现其冶金规范中规定的上下限，是衡量热轧过程中各个重要参数是否符合要求的依据，能够直观明了掌握各个参数的生产过程；

步骤3：根据热轧钢卷号将各产线进行串联整合分析同一热轧钢卷下各产线的数据；

步骤4：将大数据平台中整合后的热轧钢卷数据进行统计分析，从而指导生产热轧钢卷。

所述步骤1中，数据多元化，格式标准不统一，数据来源于不同系统的不同数据库中，将其多数据源数据进行清洗、计算并采集存储至大数据平台mpp集成的postgreSQL数据库中。