[发明专利]一种基于神经网络进行多特征融合的行人检索方法

摘要

本发明涉及一种视频分析技术，具体涉及一种基于神经网络进行多特征融合的行人检索方法。它是将视频中检测到的行人计算特征，存入待测行人集的特征数据库，然后对于待查询行人计算特征，并与特征数据库比较，得到排在前面的为相似度高的检索结果。本发明通过计算多种检索特征和特征距离，利用最优距离权值W进行整合，使得检索结果和待查询行人的上下半身都比较相似，并通过使用1个特征距离进行排序来提高检索的便捷性；具有适应面广、准确率高、应用简便的特点。能有效解决目前基于监控视频的行人检测中的准确率和检索相似度都较低，各种检测方法和特征距离不能很好的结合，适应面不广，应用较复杂的问题。

主权项

一种基于神经网络进行多特征融合的行人检索方法，其特征在于它包括以下步骤 ：（1）提取CNN前景掩码：对于输入的视频和已经检测到的行人，采用GMM（Gaussian Mixture Model)计算行人方框内的GMM前景掩码，将方框包含的RGB图像块中与GMM前景掩码中的背景对应的部分的颜色改为灰色，这样可以消除背景区域的干扰；再利用视频中的运动信息计算行人方框中的每一像素点的光流矢量，然后将行人方框中的GMM前景掩码、光流矢量的幅度、光流矢量的方向和修改后的RGB图像块组合成为“行人掩码组合特征”，输入到“前景掩码CNN”中，得到区分上下半身的CNN前景掩码，即掩码取值只有：背景0、上半身1和下半身2；（2）计算检索特征向量：对于每个行人的RGB图像块和对应的区分上下半身的CNN前景掩码，分别计算全身、上半身和下半身前景掩码对应区域的HS、RGB、改进CEDD和改进WHOS特征，共计12种检索特征向量，并将待测行人集的检索特征向量保存于特征数据库中；其中，改进CEDD特征只计算前景掩码对应区域的像素点，而改进WHOS也只计算前景掩码对应区域的像素点，同时不计算HOG特征；（3）计算特征距离:对于2个行人的检索特征向量，采用Bhattachayya法和Tanimoto法分别计算对应的相同类型的子特征向量的距离，这样对于12种子特征共得到24种距离，组成1个24维的距离向量D；然后采用由“寻优CNN”求得的权值向量W将这1个距离向量转换为1个距离值，转换公式为d=W'D，其中：W为24维权值列向量，D为24维距离列向量，计算结果d为1个1x1维数值；为了得到与待查询行人的上下半身特征都相似的检索结果，本发明的方法使用1个特征距离并且不需要过滤处理；（4）排序和输出检索结果：对于待查询行人，利用(1)和(2)所述方法计算特征向量，然后采用(3)所述方法计算与特征数据库中的每一个待测行人之间的距离，最后将这些距离值进行排序得到检索结果，距离小表示相似程度高，距离大表示相似程度低。