[发明专利]一种多模态融合的铺丝机复合材料表面缺陷检测系统

权利要求书

1.一种多模态融合的铺丝机复合材料表面缺陷检测系统，其特征在于，设计多模态神经网络架构，同时输入铺丝机复合材料图像和点云数据；多模态神经网络架构主干部分包括编码器和解码器两个部分，编码器部分分为复合材料图像数据编码和复合材料图像数据编码；编码器利用神经网络将图像数据编码与点云数据编码编码成一个256维向量；将复合材料图像数据编码特征和复合材料点云数据编码特征进行逐位相加，得到最终编码层输出的特征编码；解码器包含三个SL模块，每个模块包含一个插值层和一个卷积层；三个SL模块逐步采样会原始输入数量的点云，特征维度依次降为128、64及M，M为缺陷种类数量，包含无缺陷类型；

解码器将该向量解码成N×M维矩阵，其中N表示输入材料点云数据，M表示缺陷种类数量，包含无缺陷类型；解码器的插值层将采样后的点进行上采样，将点云数量从N_l上采样到N_l-1，N_l和N_l-1分别为第l层即SA层的输入点云数量和输出点云数量；其中每个点的特征根据其在原始点云中周围k个邻近点按照如下公式的插值函数进行计算：

其中，x为待计算特征点，x_i为其k个邻近点，f_i为第i个邻近点的特征，d(x,x_i)为x点到其邻近点之间的距离；

该系统包括多模态神经网络数据加载模块，多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块；

多模态神经网络架构采用简化的ResNet架构方式：

首先将大小为112×112，通道数为3的彩色图像通过7×7大小的卷积层，映射成通道数为64的特征图，同时步长取为2；

之后进行步长为2的最大池化；

再利用3×3的卷积核将特征逐步映射成128维，256维通道的特征图；其中逐层映射时采用残差连接的结构，即卷积层进行卷积时，上一层的输出特征和本层的输出特征进行相加，作为下一层卷积层的输入特征；将最后一层具有256个通道的特征图进行均值池化，得到256维的特征编码；

多模态神经网络架构中，复合材料点云数据编码采用三层PointNet++中的SA模块：每层模块包含一个采样模块、一个聚类模块和一个微型PointNet层；采样模块对输入点云进行采样，得到若干采样点，聚类模块用于将每个采样点周围邻域内的点进行聚集，采样点及其邻域内的点作为一个超点，输入到微型PointNet层中提取特征，作为当前采样点的特征。

2.根据权利要求1所述的铺丝机复合材料表面缺陷检测系统，其特征在于，构造训练数据集输入到多模态神经网络算法训练模块中进行训练：对训练数据提前进行标注，存为标注文件；图像数据框出复合材料缺陷的所在位置，点云数据标注出缺陷位置附近的点云；随后多模态神经网络加载模块将图像数据裁剪为相同的大小，点云数据进行抽稀，将同一复合材料对应的图像数据和点云数据打包成一组训练数据，多组数据为一批；将所有训练数据分批次输入到多模态神经网络算法训练模块中进行训练；用与构造训练数据集相同的方法构造测试数据集，其规模为训练数据集的20%。

3.根据权利要求1所述的铺丝机复合材料表面缺陷检测系统，其特征在于，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及存在缺陷的类型。

4.根据权利要求2所述的铺丝机复合材料表面缺陷检测系统，其特征在于，多模态神经网络算法训练模块用训练集进行多次训练，输入到网络中的数据均为未带标注的数据，在经过多模态神经网络算法训练模块计算之后，用预测的结果和提前标注好的标注信息进行损失对比计算，即计算损失函数；然后神经网络进行反向传播修正网络参数进行学习；

训练时经过多次迭代直到损失函数收敛，输出网络最佳参数；损失函数采用预标注的点云和网络输出点云之间的交叉熵损失函数进行计算。

5.根据权利要求4所述的铺丝机复合材料表面缺陷检测系统，其特征在于，多模态神经网络缺陷检测模块在使用前需预先加载最佳参数设置，并实时输入复合材料图像数据和复合材料点云数据，网络输出带缺陷标注的点云进行可视化显示。