[发明专利]人脸图像数据库的数据去重方法与系统

摘要

本发明提供一种人脸图像数据库的数据去重方法与系统，包括以下步骤：提供一个用于训练人脸识别的数据集，数据集按照每个人一个目录，共N目录，目录中包括对应人的M个照片文件；首先提取所以人脸照片的人脸特征信息保存在文本文件和内存中，从每个人的目录中随机挑选P张照片做为比对照片，将这P张照片中的每一张照片与剩下的N‑1(除了被选中的目录)个目录下全部照片进行比对，将超过预先设置好的阈值的照片按照原路径格式拷贝出来并且按照规则从新命名。一共进行N次上述比对，得到疑似的脏数据集。最后确认有没有误检，将脏数据从之前的数据集中清理到相应的目录下，完成去重。

主权项

1.一种人脸图像数据库的数据去重方法，其特征在于，包括以下步骤：步骤1、提供一用于训练人脸识别的数据集，所述数据集内包括多个照片，照片按照人进行存储，对应N个人的N个目录，每个目录中包含M张照片，N和M均为大于1的正整数；步骤2、遍历数据集的目录，对对应照片提取人脸特征，并保存到文本文件中；步骤3、从1‑N的顺序遍历全部的目录，每次从一个目录中随机选择P张照片，将这P张照片分别和剩下的N‑1个目录下的全部照片进行比对，得到比对的前Y张，同预先配置的第一分数阈值进行比较，如果存在前Y张至M张的分数超过预先配置的第一分数阈值，则设置其为疑似重复照片，将其拷贝到Result结果目录中，并且按照当前照片所在的目录存储，P≤M，Y≤M，；步骤4、在步骤3执行完后，所有疑似重复照片都保存在Result结果目录下，判断Result结果目录下的照片数量是否超过设定阈值，如果超过，则更新所述第一分数阈值，重复执行步骤3；如果不超过设定阈值，则进入步骤5；步骤5、对Result结果目录中的疑似重复照片进行审核确认，检验挑选出的疑似重复照片是否真的是重复照片，并对误检的照片进行删除操作，正确的照片保留；步骤6、根据Result结果目录中保留下来的照片，将原先的数据集重新整理：遍历Result结果目录下的全部文件，对文件名进行解析，获取到相应的原始照片路径，目标照片路径，将原始照片路径拷贝到目标照片路径下，如果存在相同的文件名照片，则更新照片名称，最后删除原始照片。