[发明专利]一种人口数据查重方法和装置

摘要

本发明公开一种人口数据查重方法和装置，其中方法包括对多个人口数据库进行数据变更监控，将发生变更的数据同步到每个人口数据库对应的人像分库中，对发生变更的数据进行标记；对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，将发生变更的模板数据新增或替换到对应的特征分库中，对发生变更的模板数据进行标记；对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，将比对结果导入更新比对结果库；接受用户对比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理。

主权项

一种人口数据查重方法，其特征在于，包括以下步骤：对多个不同的人口数据库进行数据变更监控，通过实时或定时机制将发生变更的数据同步到每个人口数据库对应的人像分库中，并对发生变更的数据进行标记；对每个人像分库中有变更标记的数据进行汇总，将汇总后的数据平均分配到多个更新终端中并行建模，得到每个发生变更人员对应的模板数据，并将发生变更的模板数据新增或替换到对应的各个特征分库中，同时对发生变更的模板数据进行标记；对每个特征分库中有变更标记的模板数据进行汇总，将汇总后的模板数据平均分配到多个比对终端中并行查重比对，并将比对结果导入更新比对结果库；接受用户对所述比对结果库中比对结果的查询、验证、下发处理、统计中的至少一项操作处理；当并行查重比对的比对终端的数目为偶数个时，将汇总后的模板数据平均分配到多个比对终端中并行查重比对包括：将待比对人员的模板数据根据比对终端的台数平均分组，每组数据对应一台比对终端，假设每组数据的平均模板数为N，参与比对的更新终端数为X，其中N为自然数，X为偶数；将每组数据按照公式N÷X×N÷2分配到每台比对终端上，并按照上、下两部分进行存储，其中上部分数据按照公式N÷X进行存储，下部分数据按照公式N÷X×(X÷2‑1)+N÷X÷2进行存储；将上、下两部分数据根据该比对终端的CPU内核数平均分组，按照设定条件进行设定特征的相互比对，在对比时首先将上、下部分数据按照公式N×(N﹣1)÷2进行组内比对，然后进行各组间模板数据的交叉比对，其中所述设定条件包括相似度和返回结果数。