[发明专利]一种航空制造车间工业大数据处理框架

说明书

本发明公开了一种航空制造车间工业大数据处理框架，其包括边缘计算层，数据传输层，数据批量处理层，数据实时处理层，服务层和数据反馈环；所述边缘计算层与设备端直接连接，所述数据传输层与设备端和数据批量处理层和数据实时处理层连接，所述数据批量处理层及数据实时处理层分别与服务层连接，所述服务层与数据反馈环连接。本发明通过搭建高性能的数据处理平台，能够满足对车间加工过程中产生的海量数据的批量处理和实时处理，增加了数据处理的方式，并且对数据处理结果有了更进一步的利用，对于车间设备加工过程，设备状态监控以及设备状态预测等需求，实现了更进一步的支撑。

技术领域

本发明属于工业数据处理领域，具体涉及一种新的航空制造车间工业大数据处理框架。

背景技术

随着工业4.0的发展，航空制造工业的数字化、自动化、智能化程度不断提高。大数据和数据驱动等环境特点，使工业数据的处理、利用及存储变的愈发重要，并且传统数据处理结构也逐渐暴露出无法满足日益增长的数据处理和功能需求的弊端。再者，传统的数据架构是端到端的单一流向架构，无法同时支持数据的批量处理和实时处理，并且处理效率低，传输延迟大。但工业生产过程中的许多数据流是需要进行实时处理或批量处理以满足生产需求。多数企业对于大数据建设的两个普遍需求，一是对连续流入数据中提取的(接近)实时信息的分析，二是对大量数据流的持续分析。但实时数据的提取、实时处理和快速分析也是目前面临的主要挑战。

航空制造作为整个制造业的前端，实现了制造系统的集成化，决策过程的智能化，加工过程的自动化和服务过程的主动化。其多品种小批量的生产模式，多样化的制造场景和高精度的制造要求，使其制造工艺越加复杂，对设备的性能要求也越来越高。而数据信息的解析能够有效的保证产品质量和生产过程稳定，然而这种复杂的制造环境极大的增加数据量和数据复杂度。因此，确保有效提取信息，并实现数据处理、分析和应用，是未来工业数据处理领域的主要趋势。

发明内容

本发明的主要目的在于提供一种航空制造车间工业大数据处理框架，旨在解决既有方法存在的以上技术问题。

为实现上述目的，本发明提供一种航空制造车间工业大数据处理框架，包括边缘计算层，数据传输层，数据批量处理层，数据实时处理层，服务层和数据反馈环；所述边缘计算层与设备端直接连接，用于对高实时性需求的数据进行实时处理；所述数据传输层与设备端和数据批量处理层和数据实时处理层连接，用于提供数据处理的数据来源；所述数据批量处理层及数据实时处理层分别与服务层连接，用于对数据处理结果进行访问和存储；所述服务层与数据反馈环连接，用于对数据处理结果进行实时反馈和利用。

进一步地，所述边缘计算层至少包括数据采集程序、计算机及数据处理程序，其设置在车间设备的上位机，通过传感器、采集卡或第三方数据采集程序进行对数据的采集，并传输到边缘计算单元，进行对数据的处理。

进一步地，所述数据传输层至少包括Kafka消息中间件、Kafka部署服务器、交换机及路由器，其用于接收采集层发送的数据和边缘计算层的数据处理结果，并进行对数据定向发送满足不同模块的数据需求，通过建立各层级之间的数据通讯，基于Kafka消息中间件，进行对多源数据的订阅/发布，满足不同对象对于数据的需求。

进一步地，所述数据批量处理层至少包括Hadoop数据处理平台、Hive数据仓库管理工具，其用于接收数据传输层的批量数据，对批量数据进行完整的计算、处理和分析，并输出数据处理结果。

进一步地，所述数据实时处理层至少包括Spark集群运算框架、HBase分布式数据库，其用于接收数据传输层的实时增量数据，对实时增量数据进行快速计算，处理和分析，并输出数据处理结果。

进一步地，所述服务层至少包括HBase数据库，其用于接收批处理层和实时处理层的数据处理结果，并提供对数据处理结果的查询服务。

进一步地，所述数据反馈环用于对服务层数据库进行查询，并将数据查询的结果作为输入，触发反馈控制命令。