[发明专利]人脸图像数据库的数据去重方法与系统

说明书

本发明提供一种人脸图像数据库的数据去重方法与系统，包括以下步骤：提供一个用于训练人脸识别的数据集，数据集按照每个人一个目录，共N目录，目录中包括对应人的M个照片文件；首先提取所以人脸照片的人脸特征信息保存在文本文件和内存中，从每个人的目录中随机挑选P张照片做为比对照片，将这P张照片中的每一张照片与剩下的N‑1(除了被选中的目录)个目录下全部照片进行比对，将超过预先设置好的阈值的照片按照原路径格式拷贝出来并且按照规则从新命名。一共进行N次上述比对，得到疑似的脏数据集。最后确认有没有误检，将脏数据从之前的数据集中清理到相应的目录下，完成去重。

技术领域

本发明涉及人脸识别技术领域，具体而言涉及一种人脸图像数据库的数据去重方法与系统。

背景技术

对于目前人脸识别模型的训练，理论上来说数据集越大，训练出来的模型精度就会越高，前提是建立在数据集足够干净的情况下，否则即使数据集很大，训练出来的模型精度未必就会更高，就是说在相同大小的数据集下，数据集越干净，训练出的模型精度越高。

目前很多数据集的采集都是部署平台采集的，或者从视频中抓拍的，以及人工拍摄的等等，都不可避免的出现将某个人的照片放到了另外一个人的目录下的情况。当数据量较小的情况下，人工还是可以审核的。当数据集达到几百万，甚至几千万的时候，人工已经无法进行审核。

发明内容

本发明目的在于提供一种人脸图像数据库的数据去重方法与系统，能够将脏数据去除，提高训练模型的精度。

为达成上述目的，本发明提出一种人脸图像数据库的数据去重方法，包括以下步骤：提供一个用于训练人脸识别的数据集，数据集按照每个人一个目录，共N目录，目录中包括对应人的M个照片文件；首先提取所以人脸照片的人脸特征信息保存在文本文件和内存中，从每个人的目录中随机挑选P张照片做为比对照片，将这P张照片中的每一张照片与剩下的N-1(除了被选中的目录)个目录下全部照片进行比对，将超过预先设置好的阈值的照片按照原路径格式拷贝出来并且按照规则从新命名。一共进行N次上述比对，得到疑似的脏数据集。最后确认有没有误检，将脏数据从之前的数据集中清理到相应的目录下，完成去重。

在一些实施例中，人脸图像数据库的数据去重方法具体包括以下步骤：

步骤1、提供一用于训练人脸识别的数据集，所述数据集内包括多个照片，照片按照人进行存储，对应N个人的N个目录，每个目录中包含M张照片，N和M均为大于1的正整数；

步骤2、遍历数据集的目录，对对应照片提取人脸特征，并保存到文本文件中；

步骤3、从1-N的顺序遍历全部的目录，每次从一个目录中随机选择P张照片，将这P张照片分别和剩下的N-1个目录下的全部照片进行比对，得到比对的前Y张，同预先配置的第一分数阈值进行比较，如果存在前Y张至M张的分数超过预先配置的第一分数阈值，则设置其为疑似重复照片，将其拷贝到Result结果目录中，并且按照当前照片所在的目录存储，P≤M，Y≤M；

步骤4、在步骤3执行完后，所有疑似重复照片都保存在Result结果目录下，判断Result结果目录下的照片数量是否超过设定阈值，如果超过，则更新所述第一分数阈值，重复执行步骤3；如果不超过设定阈值，则进入步骤5；

步骤5、对Result结果目录中的疑似重复照片进行审核确认，检验挑选出的疑似重复照片是否真的是重复照片，并对误检的照片进行删除操作，正确的照片保留；

步骤6、根据Result结果目录中保留下来的照片，将原先的数据集重新整理：遍历Result结果目录下的全部文件，对文件名进行解析，获取到相应的原始照片路径，目标照片路径，将原始照片路径拷贝到目标照片路径下，如果存在相同的文件名照片，则更新照片名称，最后删除原始照片。

根据本发明的公开，还提出一种人脸图像数据库的数据去重系统，包括：