[发明专利]基于工厂生产过程的多源异构孪生数据融合方法及系统

说明书

公开一种基于工厂生产过程的多源异构孪生数据融合方法，包括：基于分层特征融合模型的数据分类与语义解析，将采集到的多个传感器数据建模为传感器数据时序累积过程的网络拓扑图；根据时序动态拓扑图结构的特点，采用GCN‑LSTM结构将结构信息与时间信息相结合，利用网络嵌入将节点嵌入到低维空间中，同时捕捉网络的结构和性质，采用分层特征融合法以在不同深度的邻域上学习不同的特征聚合器；使用LSTM聚合不同深度的信息，确保信息从更高的深度流向节点；基于不完整多模态深度语义匹配融合模型建立，采用跨模态深度语义匹配机制，通过模态数据间多层非线性的相关性，建立不完整多模态的深度语义匹配融合模型。

技术领域

本发明涉及智能制造技术领域，尤其涉及一种基于工厂生产过程的多源异构孪生数据融合方法及系统。

背景技术

智能制造促使大型生产制造企业向智能化方向转型，其中，工厂拥有的海量数据，一方面给工厂智能化发展带来很大的压力，另外一方面，数据本身又是工厂智能化的核心驱动力。

数字孪生与智能制造的耦合度越来越高，数字孪生技术的落地是推动智能制造发展的关键要素之一，而数字孪生系统中存在着异构类型的数据，包括车间物理设备产生的物理实体数据，车间物理设备相对应的虚拟模型产生的与仿真预测相关的虚拟模型数据，描述车间物理设备物理属性的物理数据以及用于描述物理设备工艺流程、行为规则的行为规则数据等，如何将这些异构类型数据进行有效的融合，进而为上层用户输出统一的服务是值得研究的。

本发明人在实施本发明时发现，目前，对于孪生数据融合中存在的问题，主要通过数据孪生的方法，实现实体数据与虚拟数据的融合，并在车间及其它智能制造领域中，进行模拟和应用。但是，目前相关的研究成果，并没有从根本上解决来自工厂数据的有效性和精准性问题。由于这些数据具有海量、异构、多源、时变、维度高的特性，并且数据分布不均衡、模态不完整、语义表达缺失或不规范等，导致异构类型数据的融合的有效性和精准性较差。

发明内容

本发明的目的在于提供一种基于工厂生产过程的多源异构孪生数据融合方法及系统，针对工厂在不同生产过程中多个传感器的异构类型孪生数据进行有效融合，进而为上层用户输出统一服务的需求，能够在一定程度上提高工厂生产过程的多源异构孪生数据融合间融合的有效性和精准性。

为了实现上述目的，本发明的一实施例提供了一种基于工厂生产过程的多源异构孪生数据融合方法，包括：

S1、采集工厂在不同生产过程中多个传感器的传感器数据；

S2、基于分层特征融合模型的数据分类与语义解析，包括：

S21、针对所述传感器数据，将其建模为传感器数据时序累积过程的网络拓扑图；将传感器节点之间的边定义为顺序事件，建立一个由节点与其邻居之间交互事件驱动的动态过程构成的时序动态拓扑图结构；

S22、根据所述时序动态拓扑图结构的特点，采用GCN-LSTM结构将结构信息与时间信息相结合，利用网络嵌入将节点嵌入到低维空间中，同时捕捉网络的结构和性质，采用分层特征融合法以在不同深度的邻域上学习不同的特征聚合器；并使用LSTM聚合不同深度的信息，以确保信息从更高的深度流向节点；

S3、基于不完整多模态深度语义匹配融合模型建立，采用跨模态深度语义匹配机制，通过模态数据间多层非线性的相关性，建立不完整多模态的深度语义匹配融合模型；包括：构建模态间的共享特征子空间，以学习不完整多模态数据的共享；通过设置不变图规则化因子，保证共享子空间中各模态数据的局部相似特性；以及建立新的目标函数以描述不完整多模态数据深度语义匹配模型。

较佳地，所述步骤S21进一步通过以下方式构建异构多源传感器网络数据拓扑图：