[发明专利]一种多源异构数据字典对齐的方法

说明书

本发明涉及一种多源异构数据字典对齐的方法，属于大数据领域。本发明包括选择源数据库，选择源表，选择作为标准的源字段；选择目标数据库，选择目标表，选择需要对齐的目标字段；选择源表中的数据值；直接选择目数据表中的数据值或者通过算法智能筛选出目标表中的数据值，算法包括但不限于：余弦相似度匹配、编辑距离匹配、经纬度距离匹配、分类编码匹配、时间日期匹配；如果需要将目标表中的数据值扩充到源表中，开启扩充，将该数据值扩充到源表中；匹配成功查看匹配结果。本发明操作简单，匹配的结果也是一目了然，数据字典对齐后也让具体数据值的展现为统一的数据值。

技术领域

本发明属于大数据领域，具体涉及一种多源异构数据字典对齐的方法，确切说，涉及一种利用源数据库中的表标准字段值与目标数据中的表字段值，通过直接选定或者一些算法智能将目标表中的数据与标准的字段值进行匹配。

背景技术

随着大数据的发展，数据归集已然成为大数据平台中不可缺少的一环，而数据归集的过程中会将不同地方的数据源的数据合并到一起，因不同地方的数据源有可能会出现自己的数据标准，数据标准标注了某些数据值用的字典，所以，会因为不同地方的数据标准产生具有相同数据含义的数据值却对应的数据值不同。

例如：代表人的性别的值：有的地方使用0代表男性，1代表了女性，而有的地方使用M代表了男性，F代表了女性，而有的地方使用相似的值代表了男性女性。不同的数据值，让我们在数据归集时，会将不匹配的数据值遗漏掉，在数据展示时给人们展示出不可读的代码。

在很多工作中，可能会将字典值进行自己定义自己统一，以自己的标准，通过改变字段值的方式，转换成自己标准的值。这样做容易导致：数据发生改变，污染了数据源。

如果能在不改变源数据中的字段值的前提下，就能将字段值映射成为标准的值。本发明就是基于这样的需求而实现的技术。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何提供一种多源异构数据字典对齐的方法，以解决现有的字典值处理方法导致数据发生改变，污染了数据源的问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种多源异构数据字典对齐的方法，该方法包括如下步骤：

S1、选择源数据库，选择源表，选择作为标准的源字段；

S2、选择目标数据库，选择目标表，选择需要对齐的目标字段；

S3、选择源表中源字段的数据值；

S4、直接选择目标表中目标字段的数据值或者通过算法筛选出目标表中目标字段的数据值；

S5、如果需要将目标表中目标字段的数据值扩充到源表中，开启扩充，将目标表中目标字段的数据值扩充到源表中；

S6、匹配成功查看匹配结果。

进一步地，所述步骤S1具体包括：选择作为字典表的源数据库并选择该库中的表，选择该表中的具体的字段；

进一步地，所述步骤S2具体包括：选择需要对齐的目标数据库，选择该库中的表，选择该表中的具体的字段。

进一步地，所述步骤S3具体包括：依次选择源表中的源字段的某条数据值。

进一步地，所述步骤S4具体包括：直接选择目标表中目标字段的数据值，或者在无法直接选择时，设置阈值，然后通过几种算法算出源字段的数据值和目标字段的数据值的相似度，筛选出符合阈值的目标表中目标字段的数据值，算法包括但不限于余弦相似度匹配、编辑距离匹配、经纬度距离匹配、分类编码匹配和时间日期匹配。

进一步地，所述余弦相似度匹配算法具体包括如下步骤：

第一步，将源字段、目标字段进行分词；