[发明专利]一种基于人机融合的目标识别方法

权利要求书

1.一种基于人机融合的目标识别方法，其特征在于，包括，

候选目标提取步骤：获取进行图像分析时图像分析人员的眼动信号,生成与图像对应的眼动热图，根据设置的热度阈值确定图像中的候选目标区域，裁剪图像提取候选目标；

目标分类识别步骤：利用卷积神经网络对所述候选目标进行特征提取；根据候选目标的特征进行目标识别和分类；

所述眼动信号包括视觉注视点以及与其对应的注视时长信息；

在所述眼动热图中，对每个视觉注视点对应的图像位置根据对应的注视时长进行热度区域面积标注；热度区域面积的大小与注视时长成正比；

对眼动热图进行滤波和热度区域面积归一化；

所述滤波方法为：

首先，计算眼动热图中不同热度区域之间的距离，该距离为两个热度区域中心之间的直线距离；

其次，判断热度区域之间的距离是否小于距离阈值D；如果是，则将小于距离阈值D的热度区域合并；

再次，将需合并热度区域的视觉注视点坐标平均得到合并后的视觉注视点坐标，将需合并热度区域面积累加得到合并后的热度区域面积；

归一化的具体步骤是：对于某幅眼动热图，首先在其中寻找面积最大的热度区域；然后，将该眼动热图中的所有热度区域的面积除以该面积最大的热度区域的面积，完成热度面积归一化；

将归一化后热度区域面积大于热度阈值的图像区域进行切片，作为候选目标图像；

在眼动热图中，如果归一化后热度区域面积大于热度阈值；则以该热度区域中心点为中心在图像中裁剪大小为B×B的切片图像，作为候选目标；提取出的候选目标可能是目标，也可能是背景；

利用卷积神经网络对所述候选目标进行特征提取，包括：

对卷积神经网络进行调优处理；

并将每幅原始大小的切片图像进行重采样至256×256像素；人工对切片图像进行标注，将10类飞机和1类背景的类标签分别设置为1、2、3、4、5、6、7、8、9、10和11，即类型数量C为11；

对所述候选目标图像进行数据增强处理；

将数据增强处理后的候选目标图像输入到卷积神经网络进行特征提取。

2.根据权利要求1所述的目标识别方法，其特征在于，所述卷积神经网络为预先训练好的VGGNet-16卷积神经网络。

3.根据权利要求2所述的目标识别方法，其特征在于，所述调优处理包括对卷积神经网络的全连接层和软最大层进行调优；

所述增强处理包括图像旋转、剪裁和水平镜像。

4.根据权利要求3所述的目标识别方法，其特征在于，所述VGGNet-16卷积神经网络包含13个卷积层、2个全连接层和1个C路软最大层；所述C为待识别目标的类型数。

5.根据权利要求1所述的目标识别方法，其特征在于，所述特征提取包括全连接层特征提取和卷积层特征提取，将全连接层特征提取的特征与卷积层特征提取的特征串联后，作为卷积神经网络的提取特征输出；所述全连接层特征提取从调优后的卷积神经网络的第一个全连接层提取特征；所述卷积层特征提取从调优后的卷积神经网络的最后一个卷积层提取卷积层特征。

6.根据权利要求5所述的目标识别方法，其特征在于，所述卷积层特征提取中采用高斯核对卷积层特征进行编码；具体包括：

输入卷积层特征X＝{x_t,t＝1,2,…,T}，T是卷积层特征图的尺寸；

给定高斯核集合U＝{u_i,i＝1,2,…,K}，其中，K是高斯核的数量；

给定高斯核u_i的混合权重ω_i、平均向量μ_i和方差向量

对卷积层进行编码得到特征Y＝[g_μ,1,g_σ,1,…,g_μ,i,g_σ,i,…,g_μ,K,g_σ,K]；式中，