[发明专利]甄别重复实体数据的方法和系统

权利要求书

1.一种甄别重复实体数据的方法，其特征在于，包括：

S1：服务器获取待甄别的实体数据；

S2：服务器将待甄别的实体数据的名称与数据库中的实体数据的名称通过下述方式逐一比较实体名称：

利用预置的不同词性的分词词库对待甄别实体名称及数据库中的实体名称进行分词并确定词性；

将经过分词并确定词性的待甄别店名及数据库中的实体名称分别填入预定的模板；

通过比较待甄别店名和数据库中实体店名在所述模板中对应词性的词是否相同得到实体名称比较的评分；

S3：服务器通过比较评分与预定标准分来判断所述待甄别的实体数据与比较的数据库中的实体数据是否重复；

S4：服务器将判断为不重复的所述待甄别的实体数据添加入数据库。

2.如权利要求1所述的方法，其特征在于，所述数据库中预定量的实体数据包括数据库中的所有实体数据或部分实体数据。

3.如权利要求2所述的方法，其特征在于，所述部分实体数据包括从所述数据库的所有实体数据中的筛选出来的怀疑实体数据。

4.如权利要求2所述的方法，其特征在于，所述筛选出来的怀疑实体数据由以下方式得到：

将待查找的黄页店铺的店铺名和分店名以空格连接，生成以空格分界的分词串；

通过上述所得到分词串，与倒排索引类型字段进行匹配查找；

合并各数据节点上的查询结果，生成怀疑店铺查询结果集合。

5.如权利要求1所述的方法，其特征在于，所述服务器利用预置的不同词性的分词词库对待甄别实体名称及数据库中的实体名称进行分词并确定词性，包括：

服务器利用预置的不同词性的分词词库对待甄别实体名称及数据库中的实体名称进行正向分词和反向分词；

服务器对正向分词和反向分词得到的词表进行消歧处理以得到唯一分词结果。

6.如权利要求1所述的方法，其特征在于，所述服务器利用预置的不同词性的分词词库对待甄别实体名称及数据库中的实体名称进行分词并确定词性之后中，还包括：

服务器将经过分词并确定词性的待甄别店名及数据库中的实体名称分别进行模式匹配，从预置的模式规则文件中找到所述名称所匹配的模式规则，从而将所述名称中的分词标记上词性。

7.一种服务器，其特征在于，包括：

获取单元，用于获取待甄别的实体数据；

名称比较单元，用于将待甄别实体数据的名称与数据库中预定量的实体数据的名称通过下述方式逐一比较实体名称：

利用预置的不同词性的分词词库对待甄别实体名称及数据库中的实体名称进行分词并确定词性；将经过分词并确定词性的待甄别店名及数据库中的实体名称分别填入预定的模板；通过比较待甄别店名和数据库中实体店名在所述模板中对应词性的词是否相同得到实体名称比较的评分；

判断单元，用于通过比较评分与预定标准分来判断所述待甄别的实体数据与比较的数据库中的实体数据是否重复；

添加单元，用于将判断为不重复的实体数据添加入所述数据库中。

8.如权利要求7所述的服务器，其特征在于，所述数据库中预定量的实体数据包括数据库中的所有实体数据或部分实体数据。

9.如权利要求8所述的服务器，其特征在于，所述部分实体数据包括从所述数据库的所有实体数据中的筛选出来的怀疑实体的数据。

10.如权利要求8所述的服务器，其特征在于，还包括筛选单元，用于将待查找的黄页店铺的店铺名和分店名以空格连接，生成以空格分界的分词串；

通过上述所得到分词串，与倒排索引类型字段进行匹配查找；

合并各个数据节点上的查询结果，生成怀疑店铺查询结果集合。

11.如权利要求7所述的服务器，其特征在于，还包括添加单元，用于将判断为不重复的实体数据添加入所述数据库中。

12.如权利要求7所述的服务器，其特征在于，所述名称比较单元包括：

分词单元，利用预置的不同词性的分词词库对待甄别实体名称及数据库中的实体名称进行分词并确定词性；

模板单元，将经过分词并确定词性的待甄别店名及数据库中的实体名称分别填入预定的模板；

评分单元，通过比较待甄别店名和数据库中实体店名在所述模板中对应词性的词是否相同得到实体名称比较的评分。