[发明专利]一种污染源的数据管理方法、数据管理系统以及电子设备在审
申请号: | 202211518186.0 | 申请日: | 2022-11-29 |
公开(公告)号: | CN115828111A | 公开(公告)日: | 2023-03-21 |
发明(设计)人: | 刘术军;常伟;梁必文;康庆;万鹏;彭道发;易枭奇 | 申请(专利权)人: | 深圳博沃智慧科技有限公司 |
主分类号: | G06F18/22 | 分类号: | G06F18/22;G06Q50/26 |
代理公司: | 深圳鼎合诚知识产权代理有限公司 44281 | 代理人: | 郭燕;彭家恩 |
地址: | 518000 广东省深圳市南山区西丽街*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 污染源 数据管理 方法 系统 以及 电子设备 | ||
1.一种污染源的数据管理方法,其特征在于,包括:
获取多个目标数据,所述多个目标数据包括多个污染源数据和/或多个业务数据;每个所述污染源数据和业务数据中均包括多个维度的数据项,所述多个维度的数据项包括:公司名称、公司地址、企业信用代码、法人姓名和联系方式中的多个;
根据行政区划对所述多个目标数据进行分组,得到行政区划对应的数据组;
对数据组内每两个目标数据的同一维度的数据项进行相似度计算,得到数据组内每两个目标数据之间多个维度的数据项的相似度值;
基于各个维度的数据项预设的权重占比以及所述多个维度的数据项的相似度值,得到数据组内每两个目标数据之间的综合相似度值;
分别判断每两个目标数据之间的综合相似度值是否满足预设条件,若是则将这两个目标数据关联或确定为重复数据。
2.如权利要求1所述的污染源的数据管理方法,其特征在于,所述获取多个目标数据,包括:
获取多个污染源信息以及多个业务污染源信息;
按预设的数据格式将所述污染源信息转换为污染源数据,按预设的数据格式将所述业务污染源信息转换为业务数据;所述污染源数据和所述业务数据分别用于进行重复数据的识别。
3.如权利要求1所述的污染源的数据管理方法,其特征在于,所述对数据组内每两个目标数据的同一维度的数据项进行相似度计算,包括:
对数据组内每两个目标数据的公司名称和公司地址分别采用第一相似度记算方法进行相似度计算;
对数据组内每两个目标数据的企业信用代码、法人姓名和联系方式分别采用第二相似度计算方法进行相似度计算;所述第二相似度计算方法的计算量低于第一相似度记算方法。
4.如权利要求1所述的污染源的数据管理方法,其特征在于,所述方法还包括:
对于不同行政区划对应的数据组,通过多进程运算并行对不同数据组内每两个目标数据的同一维度的数据项进行相似度计算。
5.如权利要求1所述的污染源的数据管理方法,其特征在于,所述基于各个维度的数据项预设的权重占比以及所述多个维度的数据项的相似度值,得到数据组内每两个目标数据之间的综合相似度值,包括:
根据不同维度数据项预设的权重占比确定每个维度的数据项的相似度的权重相似度值;
将目标数据所有维度的数据项的权重相似度值进行求和,得到所述目标数据的综合相似度值。
6.如权利要求1所述的污染源的数据管理方法,其特征在于,所述分别判断每两个目标数据之间的综合相似度值是否满足预设条件,包括:
分别将每两个目标数据之间的综合相似度值与预设的经验参考值进行对比,若所述综合相似度值大于或等于所述预设的经验参考值,则确定目标数据之间的综合相似度值满足预设条件,若所述综合相似度值小于所述预设的经验参考值,则确定目标数据之间的综合相似度值不满足预设条件。
7.如权利要求1所述的污染源的数据管理方法,其特征在于,所述分别判断每两个目标数据之间的综合相似度值是否满足预设条件,若是则将这两个目标数据关联或确定为重复数据,包括:
所述数据组包括污染源数据和业务数据;分别判断每个污染源数据和业务数据组合的综合相似度值是否满足预设条件,若是则将所述污染源数据和业务数据进行关联;和/或,
所述数据组包括多个污染源数据;分别判断每两个污染源数据之间的综合相似度值是否满足预设条件,若是则保留数据项信息最全的一个污染源数据,删除另一个污染源数据;和/或,
所述数据组包括多个业务数据;分别判断每两个业务数据之间的综合相似度值是否满足预设条件,若是则保留数据项信息最全的一个业务数据,删除另一个业务数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳博沃智慧科技有限公司,未经深圳博沃智慧科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211518186.0/1.html,转载请声明来源钻瓜专利网。