[发明专利]数字孪生环境下的生产线不确定对象智能识别与预警方法

权利要求书

1.一种数字孪生环境下的生产线不确定对象智能识别与预警方法，其特征在于，包括如下步骤：

S1、建立非生产线系统不确定物理对象的模型库：针对具体的车间生产线系统，利用CAD软件建立可能进入该生产线的所有非生产线系统不确定物理对象的三维实体模型，并对模型进行类型划分得到模型族；

S2、附加非生产线系统不确定物理对象的属性数据：根据设计工程师和制造工程师的知识，确定非生产线系统不确定物理对象的属性数据，包括名称、编号、类型、外形尺寸、安全性、危险等级，通过CAD软件的二次开发接口将这些数据直接附加到已经建立的不确定对象的三维实体模型中；

S3、将步骤S1和S2建立的非生产线系统不确定物理对象的模型库及其附加属性数据导入现有生产线数字孪生系统的模型库中；

S4、基于YOLO方法对进入生产线系统的不确定物理对象进行自动检测；

S5、基于双目视觉检测进入生产线系统的不确定物理对象的实际大小；

S6、根据S4和S5的目标检测的结果，实时判断进入生产线系统的物理对象的安全性，如果属于不安全对象，进行步骤S7危险预警，如果属于安全对象，进行步骤S8模型匹配；

S7、危险预警：对于不安全对象，综合采用语音提示、系统报警、信息推送的手段进行危险预警，根据不安全对象的危险等级使用不同的预警内容，如果进入生产线系统的是非本生产线的运输车，通过语音提示现场工人注意安全，并通过信息推送通知车间管理人员进行运输车辆的身份核实；如果是出现火情，系统发出危险报警，并语音提示所有人员有序撤离；

S8、对于安全对象，根据检测到的进入生产线的不确定物理对象的类型和大小，在所建立的模型库中匹配出对应的虚拟模型：首先根据S4步骤得到的类型信息，在S1所建立的非生产线系统不确定物理对象的模型库中匹配得到相同类型的模型族，再根据S5步骤得到的实际大小，从模型族中匹配找到具体的三维模型；

S9、生产线数字孪生系统不确定对象同步建模。

2.如权利要求1所述的一种数字孪生环境下的生产线不确定对象智能识别与预警方法，其特征在于，所述非生产线系统不确定物理对象的模型库是模型自动匹配的对象，不仅需要包括不确定物理对象的三维实体模型，还需要附加对应的属性信息，包括名称、编号、类型、外形尺寸、安全性和危险等级，通过类型可以识别不确定物理对象所属的模型族，通过外形尺寸确定所匹配的具体三维实体模型，通过安全性判断是否需要进行危险预警，通过危险等级，确定危险预警的内容。

3.如权利要求1所述的一种数字孪生环境下的生产线不确定对象智能识别与预警方法，其特征在于，S4中基于YOLO方法对进入生产线系统的不确定物理对象进行自动检测采用基于深度学习的目标检测方法YOLO V3对进入生产线系统的不确定物理对象进行目标识别，确定其类型、安全性和危险等级，为了提高目标检测的准确率，在训练深度学习模型时需要结合生产线现场监控系统所拍视频的分辨率、光照、检测对象与背景的比例，对YOLOV3的参数进行调整，目标检测完成后，对于属于不安全对象的，根据危险等级综合采用语音提示、系统报警、信息推送手段进行危险预警，预警的内容根据危险等级和不安全对象来确定；具体为：将非生产线系统不确定物理对象的图像作为训练图像，分割训练图像成C行*C列的网格单元，对分割后的图像进行标记，确定其边界框、类型、安全性、危险等级，将这C*C个网格单元进行全卷积神经网络计算，获得每个不确定物理对象的损失函数，将被检图像分割成D行*D列的网格单元，并进行全卷积神经网络计算，计算得到(D，D，m)的输出量，其中m＝x*y，x是每个网格的锚框个数，y＝5+z+2，5分别代表对象是否存在于网格中、边界框原点的横坐、边界框原点的纵坐标、边界框高度、便捷框宽度，z代表检测类别的属相，2代表安全属性和危险等级，使用交并比IoU和非极大值抑制NMS去除重叠框格，得到进入生产线系统的不确定物理对象的边界框和类型信息，对于属于不安全对象的，根据危险等级综合采用语音提示、系统报警、信息推送手段进行危险预警。