[发明专利]跨模态煤矸石分选方法及装置

说明书

本发明提供一种跨模态煤矸石分选方法及装置，属于煤矸石分选技术领域，所述跨模态煤矸石分选方法，包括：获取待分选煤矸石的N个模态的图像，其中，所述N个模态的图像是通过不同类型的成像设备采集得到的；将所述N个模态的图像输入至训练完成的煤矸石分选模型，得到所述待分选煤矸石的分选结果；其中，所述煤矸石分选模型是根据N个模态的煤矸石图像样本以及所述N个模态的煤矸石图像样本对应的实际检测结果进行训练后得到的，N为大于等于2的正整数。本发明通过采用一种新的煤矸石分选模型，基于多模态图像对煤矸石进行检测，使得多个模态的图像之间能够相互补偿图像信息，进而最后的检测结果相较于采用单模态图像而言更为准确。

技术领域

本发明涉及煤矸石分选技术领域，尤其涉及一种跨模态煤矸石分选方法及装置。

背景技术

在传统能源行业中，煤矸石分选是煤炭生产的一个重要环节。近年来，煤矸石自动分选设备的广泛应用提高了煤炭生产的效率，然而，现有技术下，大多数的煤矸石分选设备采用单一检测方法，比如X射线探测，电磁探测等等，这些采用单一检测方法的煤矸石分选设备容易出现误检或难检的缺陷。

发明内容

本发明提供一种跨模态煤矸石分选方法及装置，用以解决现有技术下，采用单一检测方法检测煤矸石时容易出现误检或难检的缺陷，实现获取确定性更高的检测结果。

本发明提供一种跨模态煤矸石分选方法，包括：获取待分选煤矸石的N个模态的图像，其中，所述N个模态的图像是通过不同类型的成像设备采集得到的；将所述N个模态的图像输入至训练完成的煤矸石分选模型，得到所述待分选煤矸石的分选结果；其中，所述煤矸石分选模型是根据N个模态的煤矸石图像样本以及所述N个模态的煤矸石图像样本对应的实际检测结果进行训练后得到的，N为大于等于2的正整数。

根据本发明提供的一种跨模态煤矸石分选方法，所述煤矸石分选模型包括特征图提取层、跨模态特征融合层和多模态图像检测层；其中，所述特征图提取层用于对所述N个模态的图像分别进行特征提取，输出所述N个模态的图像中各个模态的图像对应的卷积特征图；所述跨模态特征融合层用于跨模态融合所述N个模态的图像中各个模态的图像对应的卷积特征图，输出所述N个模态的图像中各个模态的图像对应的融合特征图；所述多模态图像检测层用于通过所述N个模态的图像中各个模态的图像对应的融合特征图对所述各个模态的图像中的煤矸石进行检测，得到所述各个模态的图像中的煤矸石检测结果，根据所述N个模态的图像之间的映射关系，输出所述N个模态的图像对应的煤矸石检测结果。

根据本发明提供的一种跨模态煤矸石分选方法，所述跨模态融合所述N个模态的图像中各个模态的图像对应的卷积特征图，输出所述N个模态的图像中各个模态的图像对应的融合特征图，包括：将所述N个模态的图像中各个模态的图像对应的卷积特征图展平，得到各个模态的图像对应的多尺度特征向量；基于平面交叉注意力机制对所述各个模态的图像对应的多尺度特征向量进行融合，得到各个模态的图像对应的融合特征向量；将所述各个模态的图像对应的融合特征向量结合位置编码后输入至多头自注意力编码器，并将所述多头自注意力编码器输出的特征向量利用平面交叉注意力机制融合后输入至多头自注意力解码器，将所述多头自注意力解码器输出的特征向量恢复到所述卷积特征图的大小，得到所述各个模态的图像对应的融合特征图。