[发明专利]一种多源异构数据字典对齐的方法在审
申请号: | 202111108385.X | 申请日: | 2021-09-22 |
公开(公告)号: | CN113836897A | 公开(公告)日: | 2021-12-24 |
发明(设计)人: | 贾少敏;余增文;张东 | 申请(专利权)人: | 北京计算机技术及应用研究所 |
主分类号: | G06F40/216 | 分类号: | G06F40/216;G06F40/242;G06F40/289;G06F40/194;G06F16/36;G06F16/338;G06F16/33 |
代理公司: | 中国兵器工业集团公司专利中心 11011 | 代理人: | 刘瑞东 |
地址: | 100854*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 多源异构 数据 字典 对齐 方法 | ||
1.一种多源异构数据字典对齐的方法,其特征在于,该方法包括如下步骤:
S1、选择源数据库,选择源表,选择作为标准的源字段;
S2、选择目标数据库,选择目标表,选择需要对齐的目标字段;
S3、选择源表中源字段的数据值;
S4、直接选择目标表中目标字段的数据值或者通过算法筛选出目标表中目标字段的数据值;
S5、如果需要将目标表中目标字段的数据值扩充到源表中,开启扩充,将目标表中目标字段的数据值扩充到源表中;
S6、匹配成功查看匹配结果。
2.如权利要求1所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S1具体包括:选择作为字典表的源数据库并选择该库中的表,选择该表中的具体的字段。
3.如权利要求1所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S2具体包括:选择需要对齐的目标数据库,选择该库中的表,选择该表中的具体的字段。
4.如权利要求1-3任一项所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S3具体包括:依次选择源表中的源字段的某条数据值。
5.如权利要求4所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S4具体包括:直接选择目标表中目标字段的数据值,或者在无法直接选择时,设置阈值,然后通过几种算法算出源字段的数据值和目标字段的数据值的相似度,筛选出符合阈值的目标表中目标字段的数据值,算法包括但不限于余弦相似度匹配、编辑距离匹配、经纬度距离匹配、分类编码匹配和时间日期匹配。
6.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,所述余弦相似度匹配算法具体包括如下步骤:
第一步,将源字段、目标字段进行分词;
第二步,列出源字段、目标字段中出现的所有词;
第三步,对于第二步的所有词,统计在源字段、目标字段中出现的词频;
第四步,根据词频写出源字段、目标字段的词频向量;
第五步,计算两个词频向量的夹角的余弦值来度量它们之间的相似性;
第六步,判断余弦值是否大于阈值,如果大于阈值,那么认为源字段的值和目标字段的值是相似的,该目标字段的值被筛选出来了。
7.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,如果源字段和目标字段为坐标值,采用经纬度距离匹配,分别计算源字段与目标字段的经度相差绝对值,源字段与目标字段的的纬度相差绝对值,筛选出与源字段的坐标值相差在设定误差范围内的目标字段的坐标值。
8.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,所述分类编码匹配算法包括:用源字段和目标字段的字符串中较短的那个字符串,经过分词后在较长字符串中查找,按照匹配相等的字符数量除以较长字符串的长度,得到百分比,百分比越大越匹配度越高。
9.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,如果源字段和目标字段为时间值,采用时间日期匹配,将源字段和目标字段时间值转换为时间戳,计算两个时间戳的绝对差值,如果绝对差值小于阈值,则目标字段的值被筛选出来了。
10.如权利要求5所述的多源异构数据字典对齐的方法,其特征在于,所述步骤S5具体包括:通过开启扩充的方式,将目标表中的字段值去除相同数据值后,扩充到源表中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京计算机技术及应用研究所,未经北京计算机技术及应用研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111108385.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置