[发明专利]一种基于多光谱图像融合的复杂场景识别方法及系统

说明书

本发明公开了一种基于多光谱图像融合的复杂场景识别方法，包括：将场景数据集的图像划分为训练数据集和测试数据集，场景数据集的图像为将红外光和可见光融合后的图像；根据训练数据集构建场景识别的DL‑FME卷积神经网络，利用DL‑FME卷积神经网络对融合后的图像进行分割，得到分割后的图像；利用DL‑FME卷积神经网络对分割后的图像进行训练以生成场景识别训练模型；将测试数据集的图像输入训练模型以生成场景识别模型；利用场景识别模型对待识别的场景进行识别。本发明还公开了一种基于多光谱图像融合的复杂场景识别系统。本发明的计算成本降低、场景识别的准确率高。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种基于多光谱图像融合的复杂场景识别方法及系统。

背景技术

复杂环境下，对典型目标进行识别和提取是机载光电侦查领域的中一个重要领域，在军事监视、目标探测、毁伤评估以及目标导航等方面都有广泛的应用。

目前机载光电侦查设备往往需要搭载多台不同光谱的传感器，这种组合后的传感器极大地丰富了人们对地面的观察与测量，能够帮助人民更加有效地认知地面目标物。

多谱段传感器的共同使用获取到的航拍图像具有更加丰富的光谱特征信息、空间结构和几何纹理等信息。比如在光电侦查领域，通过可见光相机所获得图像下并不容易区分军事伪装；而在长波/中波红外相机下，生命体和伪装物体的成像却非常明显。但是由于中波和长波红外成像的纹理缺失严重，如果在侦查中单独依靠热红外图像时，会给后续图像中场景的精确识别带来极大的困难。

因此，针对航拍侦查场景的应用需求，需要通过一定的图像融合手段来合理地处理这些图像，并结合人工智能的方法对场景进行识别以获取感兴趣的信息，这已经成为机载光电侦查的重要应用方向。

在机载图像融合和复杂环境识别应用中，现有技术中的图像融合方法对于图像细节特征的保留较少。

由于镜头材料和探测器靶面的限制，可见光镜头和红外镜头的焦距往往是不同的探测器成像像素数也是不同的，这就给图像高效快速地融合带来了极大地困难。在航拍图像中，包含的地物种类繁多，其中，道路、建筑物、水体等信息是重要的基础地理信息以及生命体、伪装等是重要的场景信息。

目前，由于影像分辨率的提高，影像中包含的地物变得越发丰富，图像的细节特征也越来越丰富。现有技术中对颜色空间的色彩融合方法为了保持自然感的彩色图像，在彩色初始化中，主要是将目标场景纹理信息较为丰富的可见光图像(灰度化处理后)送到Y通道，将白热红外图像主要送到V通道，将黑热红外图像(即红外图像的正片)主要送到U通道，受制于机载平台上图像处理硬件的计算能力，这就给不同波段图像的快速匹配和融合带来较大的困难。同时，为了图像后期图像识别的方便，保留更丰富的图像信息也逐渐成为图像融合的关注的主要问题。

在对图像信息进行地理及场景信息的识别时，现有技术中利用SVM、K-means分割定位算法受到场景信息的干扰往往比较大，如场景中树木与建筑物的阴影、车辆及路面上的临时施工区都会影响到信息的准确提取；并且现有技术中的Mask-RCNN、Deeplab等神经网络算法受到机载平台计算能力的影响，面临着计算耗时长，特征提取能力差的问题。

发明内容

本发明提出了一种基于多光谱图像融合的复杂场景识别方法及系统，利用DeepLabv3--Feature Map Enhancement(DL-FME)卷积神经网络，以解决上述现有技术中存在的至少一个技术问题。

为了达到上述目的，本发明采用的技术方案为：

第一方面，本发明实施例提供一种基于多光谱图像融合的复杂场景识别方法，该方法包括以下步骤：

将场景数据集的图像划分为训练数据集和测试数据集，所述场景数据集的图像为将红外光和可见光融合后的图像；