[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

根据待处理数据表的属性字段确定数据清洗规则，所述数据清洗规则至少包括具有同属性字段的多个待处理数据表的清洗优先级；

根据融合数据表的主键从所述多个待处理数据表中筛选出同主键数据表，所述融合数据表用于记录所述同主键数据表中经过清洗的数据；

将所述清洗优先级高的同主键数据表中的数据添加至所述融合数据表，所述数据对应于同主键数据表中的同属性字段。

2.根据权利要求1所述的方法，其特征在于，根据融合数据表的主键从所述多个待处理数据表中筛选出同主键数据表，具体包括：

利用所述融合数据表的主键匹配待处理数据表的主键，得到具有相同主键的第一表集合；

利用所述融合数据表的注释信息匹配待处理数据表的注释信息，得到具有相同注释信息的第二表集合，所述注释信息包括表描述信息、字段描述信息、字段关键词；

将所述第一表集合与第二表集合并集中的数据表确定为所述同主键数据表。

3.根据权利要求2所述的方法，其特征在于，利用所述融合数据表的主键匹配待处理数据表的主键，得到具有相同主键的第一表集合，具体包括：

计算所述融合数据表的主键与待处理数据表的主键的语义相似度；

在所述语义相似度大于阈值时，将所述待处理数据表加入第一表集合。

4.根据权利要求2所述的方法，其特征在于，利用所述融合数据表的注释信息匹配待处理数据表的注释信息，得到具有相同注释信息的第二表集合，具体包括：

分别识别所述融合数据表的注释信息与待处理数据表的注释信息所含有的关键词，得到第一关键词集合与第二关键词集合；

利用相关度算法确定第一关键词集合与第二关键词集合的相关度是否大于阈值；

若大于，将所述待处理数据表加入第二表集合。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

匹配所述同主键数据表中具有的同属性字段。

6.根据权利要求5所述的方法，其特征在于，匹配所述同主键数据表中具有的同属性字段，包括：

根据所述同主键数据表中含有的属性字段，提取存在于多个同主键数据表中的属性字段，得到第一字段集合；

利用数据清洗规则中含有的属性字段匹配所述融合数据表中的属性字段，得到第二字段集合；

将所述第一字段集合与第二字段集合交集中的属性字段确定为所述同属性字段。

7.根据权利要求6所述的方法，其特征在于，根据所述同主键数据表中含有的属性字段，提取存在于多个同主键数据表中的属性字段，具体包括：

基于所述属性字段的字段语义判断所述属性字段是否存在于多个同主键数据表中；

若存在，则将所述属性字段加入第一字段集合；

若不存在，则基于所述属性字段的注释信息语义，将语义相关度大于阈值，且存在于多个同主键数据表中的属性字段加入第一字段集合。

8.一种数据处理装置，其特征在于，所述装置包括：

确定单元，用于根据待处理数据表的属性字段确定数据融合规则，所述数据融合规则至少包括具有同属性字段的多个待处理数据表的清洗优先级；

表筛选单元，用于根据融合数据表的主键从所述多个待处理数据表中筛选出同主键数据表，所述融合数据表用于记录所述同主键数据表中经过清洗的数据；

数据清洗单元，用于将所述表筛选单元选出的清洗优先级高的同主键数据表中的数据添加至所述融合数据表，所述数据对应于同主键数据表中的属性字段。