[发明专利]复杂场景下行人细粒度属性的检测与识别方法

摘要

本发明公布了一种复杂场景下行人细粒度属性的识别方法，采用分类模型对检测出的行人的子部件进行细粒度属性识别；将识别出的属性分别与行人性别进行关联分析，选取相关性强的属性进行多任务学习；再训练多任务学习构建的卷积神经网络模型，并针对多个属性选出识别正确率最高的卷积神经网络模型结果，作为最终结果；最后根据自定义的决策函数来判断行人的性别属性。本发明可实现对复杂场景中行人由整体到局部的检测，实现对行人子部件属性更精准的检测与识别，能够避免背景等信息的干扰，同时也解决了模型对小目标检测正确率低的问题，具有较高的识别精度。

主权项

1.一种复杂场景下行人细粒度属性的识别方法，采用分类模型对检测出的行人的子部件进行细粒度属性识别；将识别出的属性分别与行人性别进行关联分析，选取相关性强的属性进行多任务学习；再训练多任务学习构建的卷积神经网络模型，并针对多个属性选出识别正确率最高的卷积神经网络模型结果，作为最终结果；最后根据自定义的决策函数来判断行人的性别属性；包括如下步骤：第一步：定义复杂场景中行人的子部件，将行人本身所固有的特征定义为行人子部件，表示为Xi＝{xi1,xi2,…xij,…xim}，其中，Xi表示行人i，xij表示行人i的第j个子部件，i∈(1,M),j∈(1,m)，M是检测到行人的数量，m表示行人子部件的个数；将行人外在附属物定义为子部件属性，用Yij＝{yij1,yij2,…yijk,…yijn}表示，其中，Yij表示行人i的第j个子部件，yijk表示行人子部件j的第k个属性，其中,i∈(1,M)j∈(1,m)，k∈(1,n)，n是行人子部件属性的个数；第二步：对复杂场景中行人进行两次检测；利用目标检测方法模型对行人子部件进行两次检测，其中，第一次检测对行人进行粗粒度检测，得出行人整体；第二次检测对行人子部件进行细粒度检测，检测得出行人的多个子部件Yij；包括如下步骤：21)选取模型训练的样本和测试样本；设迭代总次数为T，从1到T每次迭代训练依次完成步骤22)‑28)：22)对输入到卷积神经网络模型的训练样本进行特征提取；23)采用聚类方法，通过对数据集中人的标注框聚类，得到人的标注框聚类个数k；然后以k作为候选框的个数，以k个聚类中心框的维度为候选框的维度；24)利用候选框预测回归边框和类别；预测出一幅图中待检测行人目标的类别的个数；25)预测每个回归边框的坐标，并且预测每个回归边框中含有行人目标的置信度；26)在卷积神经网络的最后几层进行检测分类；27)采用非极大值抑制，输出最终结果；28)根据前向传播计算过程得到损失函数值，根据损失函数值进行反向传播更新各层权重；29)执行步骤22)‑28)的迭代操作，首先检测出行人整体，然后检测出行人子部件Yij；第三步，对检测出来的行人子部件进行细粒度属性识别，得到子部件的属性；第四步，利用分类器融合与判别决策算法，识别得到行人的性别；首先将第三步识别出的子部件的属性与行人的性别进行关联分析，分别求出每个子部件的每个属性yijk与性别Miu之间的相关系数，得到相关系数矩阵Rk，其中u∈(0,1)，k∈(1,n)；然后根据置信度从高到低排序，选出相关系数较大的L个属性，构建基于多属性的多任务学习的CNN模型；将模型的结果进行融合，采用投票法及自定义决策函数对待识别目标进行最终判决，从而得到行人的性别，即为识别结果。