[发明专利]跨模态煤矸石分选方法及装置

权利要求书

1.一种跨模态煤矸石分选方法，其特征在于，包括：

获取待分选煤矸石的N个模态的图像，其中，所述N个模态的图像是通过不同类型的成像设备采集得到的；

将所述N个模态的图像输入至训练完成的煤矸石分选模型，得到所述待分选煤矸石的分选结果；

其中，所述煤矸石分选模型是根据N个模态的煤矸石图像样本以及所述N个模态的煤矸石图像样本对应的实际检测结果进行训练后得到的，N为大于等于2的正整数。

2.根据权利要求1所述的跨模态煤矸石分选方法，其特征在于，所述煤矸石分选模型包括特征图提取层、跨模态特征融合层和多模态图像检测层；

其中，所述特征图提取层用于对所述N个模态的图像分别进行特征提取，输出所述N个模态的图像中各个模态的图像对应的卷积特征图；

所述跨模态特征融合层用于跨模态融合所述N个模态的图像中各个模态的图像对应的卷积特征图，输出所述N个模态的图像中各个模态的图像对应的融合特征图；

所述多模态图像检测层用于通过所述N个模态的图像中各个模态的图像对应的融合特征图对所述各个模态的图像中的煤矸石进行检测，得到所述各个模态的图像中的煤矸石检测结果，根据所述N个模态的图像之间的映射关系，输出所述N个模态的图像对应的煤矸石检测结果。

3.根据权利要求2所述的跨模态煤矸石分选方法，其特征在于，所述跨模态融合所述N个模态的图像中各个模态的图像对应的卷积特征图，输出所述N个模态的图像中各个模态的图像对应的融合特征图，包括：

将所述N个模态的图像中各个模态的图像对应的卷积特征图展平，得到各个模态的图像对应的多尺度特征向量；

基于平面交叉注意力机制对所述各个模态的图像对应的多尺度特征向量进行融合，得到各个模态的图像对应的融合特征向量；

将所述各个模态的图像对应的融合特征向量结合位置编码后输入至多头自注意力编码器，并将所述多头自注意力编码器输出的特征向量利用平面交叉注意力机制融合后输入至多头自注意力解码器，将所述多头自注意力解码器输出的特征向量恢复到所述卷积特征图的大小，得到所述各个模态的图像对应的融合特征图。

4.根据权利要求1至3中任一项所述的跨模态煤矸石分选方法，其特征在于，所述方法还包括：训练得到所述煤矸石分选模型；

其中，在N＝2的情况下，所述训练得到所述煤矸石分选模型，包括：

获取第一图像样本、第二图像样本以及与所述第一图像样本和第二图像样本对应的实际检测结果，其中，所述第一图像样本和所述第二图像样本是通过不同类型的成像设备对相同的煤矸石样本进行拍摄得到的煤矸石图像样本；其中，所述第一图像样本组成第一输入样本集，所述第二图像样本组成第二输入样本集，与所述第一图像样本和第二图像样本对应的实际检测结果组成输出样本集；

从所述第一输入样本集中随机选取一个第一图像样本作为第一输入训练样本，从所述第二输入样本集中取出与所述第一输入训练样本对应的第二图像样本作为第二输入训练样本；

将所述第一输入训练样本和所述第二输入训练样本输入到所述煤矸石分选模型中得到输出结果；

从所述输出样本集中取出与所述第一输入训练样本和第二输入训练样本对应的实际检测结果，根据所述输出结果和所述实际检测结果计算损失值，并根据所述损失值更新所述煤矸石分选模型的参数；

判断是否达到训练结束条件，若是，则保存当前迭代所述煤矸石分选模型的参数，获得训练完成的煤矸石分选训练模型，否则选取下一个第一输入训练样本和下一个第二输入训练样本进行训练；

其中，所述将所述第一输入训练样本和所述第二输入训练样本输入到所述煤矸石分选模型中得到输出结果，包括：

将所述第一输入训练样本输入到所述煤矸石分选模型的特征图提取层中得到第一输入卷积特征图，将所述第二输入训练样本输入到所述煤矸石分选模型的特征图提取模型得到第二输入卷积特征图；

将所述第一输入卷积特征图输入到所述煤矸石分选模型的跨模态特征融合层中得到第一特征图，将所述第二卷积特征图输入到所述煤矸石分选模型的跨模态特征融合层得到第二特征图；

将所述第一特征图和第二特征图输入到所述煤矸石分选模型的多模态图像检测层中，得到所述输出结果。