[发明专利]基于多重聚类信息的无监督行人难样本挖掘方法和系统

权利要求书

1.一种基于多重聚类信息的无监督行人难样本挖掘方法，其特征在于，包括以下步骤：

S1：构建神经网络，并获取行人数据集，所述行人数据集包括有标签的行人数据集和无标签的行人数据集；

S2：利用S1构建的神经网络对有标签的行人数据集进行特征学习，并对划分出来的特征进行优化；

S3：利用S2特征学习后的神经网络作为对无标签的行人数据集进行学习的预训练模型，对无标签的行人数据集进行特征提取，将提取的特征构建记忆模型；

S4：对记忆模型中的数据进行DBSCAN聚类，计算被聚类样本的各自聚类中心，使用联合对比损失函数对神经网络进行优化，利用优化后的神经网络再次进行特征学习，并使用新的特征更新记忆模型；

S5：对更新后的记忆模型分别进行高斯混合模型聚类、KMeans聚类以及谱聚类，将聚类得到的结果进行融合，得到每个特征数据各自的软多重标签；

S6：计算当前无标签行人数据特征的cosine相似度矩阵并进行从小到大排序，根据排序的前后、软多重标签的相似度与阈值的大小关系判断当前样本是否为难样本对；

S7：根据难样本对，对记忆模型进行更新；

步骤S2中利用S1构建的神经网络对有标签的行人数据集进行特征学习，其中特征学习的方法是通过交叉熵损失函数与难样本三元组损失函数，对每一个划分出来的小样本集的行人图像的特征进行优化；

所述交叉熵损失函数与难样本三元组损失函数具体如下：

交叉熵损失函数：

其中，N为源域中行人ID的个数，p_i为当前样本对于第i个行人的预测值，q_i为防止标签过拟合参数，其取值为：

其中，y为当前样本真实标签，ε为常数；

难样本三元组损失函数：

其中，M为当前mini-batch中行人个数，Z为当前mini-batch中每个行人拥有的图像个数，a为当前行人图像，p为a的正样本对，A为当前mini-batch中a的正样本集，n为a的负样本对，B为当前mini-batch中a的负样本集，α为边界值，表示正样本与负样本之间的最小距离；

步骤S4中所述的联合对比损失函数计算公式如下：

其中的n_c为聚类中心个数，n_u为离群点个数，c_k为第k个聚类中心，u_k为第k个离群点在记忆模型中的特征向量，·，·为计算两个向量之间的余弦距离，τ为放大系数，设为0.05，z为当前x的趋向位置，若当前x为聚类点，则z为x所属类别的聚类中心；若x为离群点，则z为x在记忆模型中的特征向量。

2.根据权利要求1所述的基于多重聚类信息的无监督行人难样本挖掘方法，其特征在于，步骤S1中所述神经网络具体为：

使用在ImageNet上预训练过的ResNet-50神经网络作为基础，并在每个Layer后面添加通道注意力与空间注意力机制，并将网络输出层中的1000维分类层改为1024维的全连接层，最后连接分类层。

3.根据权利要求2所述的基于多重聚类信息的无监督行人难样本挖掘方法，其特征在于，步骤S4和S7中记忆模型更新时采取动量更新法，具体为：

式中，表示t+1时刻记忆模型中第i个样本的特征向量，表示t时刻记忆模型中第i个样本的特征向量，f_i^t+1表示t+1时刻网络提取的第i个样本的特征向量，m是动量系数。