[发明专利]实现属性归一的方法和装置

权利要求书

1.一种实现属性归一的方法，其特征在于，包括如下步骤：

对于源数据中的每条待归一数据：以所述待归一数据的一个单词为KEY、以所述待归一数据为VALUE，得到第一数据；

将具有相同KEY的第一数据聚合为第一数据组，对于每个第一数据组：将第一数据组中每条第一数据的VALUE聚合形成第二数据，从第一数据组的所有词中选举一个词作为第二数据的归一词；以第二数据中的每个原词为KEY、第二数据为VALUE，得到第三数据；

将具有相同KEY的第三数据聚合为第二数据组，对于每个第二数据组：将第二数据组中每条第三数据的VALUE聚合形成第四数据，从第二数据组的所有归一词中选举一个归一词作为第四数据的归一词并加入拓展词集合形成结果数据；

依据所述结果数据确定归一后的属性值；

其中，所述VALUE聚合包括：将所述VALUE包括的单词集合和拓展词集合合并，以合并后的单词集合和拓展词集合替换所述VALUE包括的单词集合和拓展词集合；

依据所述结果数据确定归一后的属性值，包括：如果所述结果数据的原词与对应的所述待归一数据的原词相同、且所述结果数据的归一词与对应的所述待归一数据的归一词相同，以所述结果数据的归一词作为归一后的属性值。

2.如权利要求1所述的方法，其特征在于，所述形成结果数据之后还包括：

对于源数据中每条待归一数据对应的结果数据，判断所述结果数据是否满足如下条件：所述结果数据的原词与对应的所述待归一数据的原词相同、且所述结果数据的归一词与对应的所述待归一数据的归一词相同；

若所述结果数据满足所述条件，则所述依据所述结果数据确定归一后的属性值包括：以所述结果数据的归一词作为归一后的属性值。

3.如权利要求2所述的方法，其特征在于，若所述结果数据不满足所述条件，则以所述结果数据作为所述源数据进行循环迭代，直至形成的结果数据满足所述条件。

4.如权利要求1-3任一所述的方法，其特征在于，每个归一词满足如下条件：

对于同一个属性，每条所述待归一数据对应的归一词全局唯一；

对于不同的属性，任意两条所述待归一数据对应的归一词不同；

任意两条所述待归一数据对应的归一词之间具有大小可比性。

5.如权利要求4所述的方法，其特征在于，所述归一词是采用哈希算法或MD5算法选举的。

6.一种实现属性归一的装置，其特征在于，包括：

解析模块，用于：对于源数据中的每条待归一数据：以所述待归一数据的一个单词为KEY、以所述待归一数据为VALUE，得到第一数据；

触手模块，用于：将具有相同KEY的第一数据聚合为第一数据组，对于每个第一数据组：将第一数据组中每条第一数据的VALUE聚合形成第二数据，从第一数据组的所有词中选举一个词作为第二数据的归一词和拓展词；以第二数据中的每个原词为KEY、第二数据为VALUE，得到第三数据；

选举模块，用于：将具有相同KEY的第三数据聚合为第二数据组，对于每个第二数据组：将第二数据组中每条第三数据的VALUE聚合形成第四数据，从第二数据组的所有归一词中选举一个归一词作为第四数据的归一词并加入拓展词集合形成结果数据；

确定模块，用于：依据所述结果数据确定归一后的属性值；

其中，所述VALUE聚合包括：将所述VALUE包括的单词集合和拓展词集合合并，以合并后的单词集合和拓展词集合替换所述VALUE包括的单词集合和拓展词集合；

依据所述结果数据确定归一后的属性值，包括：如果所述结果数据的原词与对应的所述待归一数据的原词相同、且所述结果数据的归一词与对应的所述待归一数据的归一词相同，以所述结果数据的归一词作为归一后的属性值。