[发明专利]一种数据去重方法、装置、设备及介质

说明书

本申请提供一种数据去重方法、装置、设备及介质，其中，该方法包括：获取人脸数据库，人脸数据库包括多个人脸数据，且多个人脸数据中存在属于同一目标客体的人脸数据；将多个人脸数据进行分片处理，得到分片序列集合；对分片序列集合中的每个分片序列的内部进行去重处理，得到去重分片集合；对去重分片集合中的第一去重分片和第二去重分片执行两两去重处理，得到第一去重序列；对去重分片集合中的第三去重分片和第四去重分片执行两两去重处理，得到第二去重序列；对第一去重序列和第二去重序列执行两两去重处理，得到去重结果序列。通过该方法，可以提高数据去重的效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据去重方法、装置、设备及介质。

背景技术

在基于摄像机采集人脸特征数据的时空轨迹碰撞类业务中，对于相同人员的动态采集人脸的去重需求越来越多。

目前业界提升动态人脸库的库内去重效率的方案，一般是从采用支持高性能浮点数运算的硬件、引入向量索引算法等维度来提升，比如将特征比对算法使用浮点数处理能力更强的GPU卡来执行，使用PQ算法、IVF-PQ算法等计算效率更高的向量特征算法。

虽然上述这些方案可以在一定程度上提升库内去重的效率，但是只能利用单设备节点的能力，在能力的横向扩展等方面提升有限。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种数据去重方法、装置、设备及介质，可以提高数据去重的效率。

第一方面，本申请实施例提供了一种数据去重方法，该方法包括：

获取人脸数据库，人脸数据库包括多个人脸数据，且多个人脸数据中存在属于同一目标客体的人脸数据；

将多个人脸数据进行分片处理，得到分片序列集合；

对分片序列集合中的每个分片序列的内部进行去重处理，得到去重分片集合；

对去重分片集合中的第一去重分片和第二去重分片执行两两去重处理，得到第一去重序列；对去重分片集合中的第三去重分片和第四去重分片执行两两去重处理，得到第二去重序列；

对第一去重序列和第二去重序列执行两两去重处理，得到去重结果序列。

于本申请的一实施例中，获取分片数量；根据分片数量对多个人脸数据进行分片处理，得到分片序列集合。

于本申请的一实施例中，分片序列集合包括第一分片序列，第一分片序列为第一分片序列集合中的任意一个分片序列；

于本申请的一实施例中，对第一元素与第二元素进行相似度对比，第一元素与第二元素为第一分片序列中的任意两个元素，且第一元素的编号小于第二元素的编号；若第一元素与第二元素的相似度大于预设阈值，则将第二元素删除，得到去重分片集合。

于本申请的一实施例中，第一去重分片与第二去重分片为去重分片集合中的两个不同的去重分片；

于本申请的一实施例中，将第一去重分片拆分为多个部分，得到针对第一去重分片的至少一个去重分片部分；将针对第一去重分片的至少一个去重分片部分中的每个去重分片部分的各个元素分别与第二去重分片中的各个元素进行相似度对比；若第三元素与第四元素的相似度大于预设阈值，则将第三元素删除，得到第一去重序列；第三元素为第一去重分片中的任意一个元素，第四元素为第二去重分片中的任意一个元素。

于本申请的一实施例中，第三去重分片与第四去重分片为去重分片集合中的两个不同的去重分片，且与第一去重分片和第二去重分片均不相同；