[发明专利]基于多层信息融合的注视点检测方法

摘要

本发明属于计算机视觉领域，基于多层信息融合的注视点检测方法。由颜色等底层信息得到底层信息检测结果图。利用像素点的空间位置得到中心先验图。对原始图像提取候选目标框及其CNN深度特征，利用词袋模型编码，编码后的视觉特征送入训练好的多示例RMI‑SVM分类器中得到打分，对框中心高斯平滑后根据目标框的打分进行加权叠加得到目标级别的检测结果图。对原始图像本身提取描述图像整体内容的特征，训练softmax回归器得到融合权值，采用这个权值对上述结果图进行加权融合。本发明综合利用颜色对比度，显著目标，空间位置这三方面信息，并针对不同的图像调节各种信息占的比重，针对于包含各种内容的图像，本发明都有较好的检测率。

主权项

1.基于多层信息融合的注视点检测方法，其特征在于，步骤如下：(1)生成颜色对比图：待检测图像的L、A、B通道分别生成金字塔；利用“中央—周边”算子计算金字塔上各层差异图；最后对L、A、B颜色通道进行叠加得到底层颜色对比图；(2)生成显著目标检测图：利用边缘多尺度组合分组算法提取待检测图像的目标候选框，并将目标候选框输入预先训练好的用于目标检测的CNN网络中，得到候选目标的CNN特征；将所有图像的所有候选目标的特征构成一个集合，利用混合高斯模型GMM进行聚类，得到N个聚类中心，构建视觉词汇字典，所有候选目标的特征利用稀疏表示在此字典上进行分解，得到视觉词汇特征；根据训练集图像的真值选取正负包，真值极大值附近的M个目标框构成正包，其他区域目标框进行空间位置聚类，每一类的所有目标框构成负包；利用其视觉词汇特征采用RMISVM算法训练分类器；RMISVM的求解的目标函数如下：其中，为第i个包损失项，为第i个包中第j个示例的损失项，sgn是符号函数，m₀是确定正负示例的阈值参数，p_ij为第i个包中第j个示例标签为正的概率，P_i为第i个包标签为正的概率；对其用随机梯度下降算法求解，得到分类器[w，b]；测试阶段，给定测试图像，先提取候选目标得到其CNN特征，转换为视觉词汇特征送入训练好的RMISVM分类器得到分数；每个候选目标中心位置为分类器得到的分数，其他位置为0，采用高斯滤波生成显著目标检测图；(3)生成中心先验图：利用高斯函数计算中心先验图模板，对模板经过插值和抽取调整其尺寸为检测图像尺寸；(4)自适应权重的学习：待检测图像送入VGG网络中，取输出作为训练特征；训练阶段：用S‑AUC的相对值对底层颜色对比图、显著目标检测图和中心先验图这三种检测图进行评价，将具有最高S‑AUC相对值的检测图编号作为当前图像的训练标签；用特征和标签训练softmax分类器；测试阶段：将测试图像的特征送入训练好的softmax分类器中，得到对应着三种检测图的概率w1，w2，w3；将此概率作为权值，对三种检测图进行加权融合，得到初步检测结果图；(5)分别在人脸、文本、行人三种目标检测数据库上挑选正负样本，用其CNN特征训练三种随机森林分类器作为语义检测器；语义检测阶段，提取待检测图像中的目标框及其CNN特征，送入训练好的三种随机森林分类器中，得到目标框的打分，再采用改进的非极大值抑制算法对重叠的目标框进行合并，得到最终的语义检测结果；在步骤(4)初步检测结果图上叠加语义检测结果，即为最终的注视点检测结果。