[发明专利]一种基于人机融合的目标识别方法

说明书

本发明涉及一种基于人机融合的目标识别方法，属于遥感图像处理和分析领域，解决大幅面多目标遥感图像的目标识别分类问题；方法包括，获取图像分析员进行图像分析时的眼动信号,生成与图像对应的眼动热图，根据设置的热度阈值确定图像中的候选目标区域，裁剪图像提取候选目标；利用预先训练的卷积神经网络对所述候选目标进行特征提取；根据候选目标的特征进行目标识别和分类。本发明联合了人眼准确高效的目标搜索能力和卷积神经网络强大的目标分类能力，实现大幅面可见光遥感图像目标识别，并且可扩展应用于红外、高光谱、合成孔径雷达遥感图像目标识别。

技术领域

本发明涉及遥感图像处理和分析领域，尤其是一种基于人机融合的目标识别方法。

背景技术

目标识别是遥感图像分析和应用领域的重要研究内容，其主要目的是区分目标的具体类型，例如区分某架飞机是波音-737还是波音-787。

现有的目标识别方法通常以目标检测为基础，即假设已经通过检测得到了包含单个目标的切片图像，但不符合实际应用中通常需要在包含多个目标和背景的大幅面图像中识别目标的要求。

目前，在大幅面图像中识别目标有两种可行的方法：第一种方法是先检测后识别，这种方法太复杂。第二种方法是先提取候选目标，然后直接识别。但第二种方法为保证识别性能，候选目标提取方法除了需要具有高的召回率外，还需要高效且定位准确，即提取的候选目标数量不能太多，且能够精确地定位候选目标的位置；然而，现有的候选目标提取方法无法满足上述需求，通常会提取上百个候选目标，且定位不够准确；并且第二种方法中在提取候选目标后续的目标特征提取主要使用传统人工设计特征，不能满足对目标识别的要求。

发明内容

鉴于上述的分析，本发明旨在提供一种基于人机融合的目标识别方法，解决大幅面多目标遥感图像的目标识别分类问题。

本发明的目的主要是通过以下技术方案实现的：

本发明公开了一种基于人机融合的目标识别方法，包括，

候选目标提取步骤：获取进行图像分析时图像分析人员的眼动信号,生成与图像对应的眼动热图，根据设置的热度阈值确定图像中的候选目标区域，裁剪图像提取候选目标；

目标分类识别步骤：利用卷积神经网络对所述候选目标进行特征提取；根据候选目标的特征进行目标识别和分类。

进一步地，所述眼动信号包括视觉注视点以及与其对应的注视时长信息；

在所述眼动热图中，对每个视觉注视点对应的图像位置根据对应的注视时长进行热度区域面积标注；热度区域面积的大小与注视时长成正比；

对眼动热图进行滤波和热度区域面积归一化；

将归一化后热度区域面积大于热度阈值的图像区域进行切片，作为候选目标图像。

进一步地，利用卷积神经网络对所述候选目标进行特征提取，包括：

对卷积神经网络进行调优处理；

对所述候选目标图像进行数据增强处理；

将数据增强处理后的候选目标图像输入到卷积神经网络进行特征提取。

进一步地，所述卷积神经网络为预先训练好的VGGNet-16卷积神经网络。

进一步地，所述调优处理包括对卷积神经网络的全连接层和软最大层进行调优；

所述增强处理包括图像旋转、剪裁和水平镜像。

进一步地，所述VGGNet-16卷积神经网络包含13个卷积层、2个全连接层和1个C路软最大层；所述C为待识别目标的类型数。