[发明专利]针对不完整数据的大数据清洗方法在审
| 申请号： | 201711239139.1 | 申请日： | 2017-12-01 |
| 公开（公告）号： | CN110019159A | 公开（公告）日： | 2019-07-16 |
| 发明（设计）人： | 祁建明;周峻松;徐继峰;陈墩金 | 申请（专利权）人： | 广州明领基因科技有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/25 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 510610 广东省广州市天河区*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 完整数据 大数据 数据源 清洗 预处理 结果数据 数据清理 新数据源 有效地 导出 推断 修正 检测 | ||
【权利要求书】：
1.针对不完整数据的大数据清洗方法，其特征在于，所述方法包括：S1，通过JDBC接口调入待清理的数据；S2，对数据进行预处理；S3，对数据进行不完整数据的检测、判别以及修正；S4，通过JDBC接口导出结果数据至新数据源。
2.根据权利要求1所述的针对不完整数据的大数据清洗方法，其特征在于，所述步骤S1中，JDBC为Java DataBase Connectivity的缩写，即Java数据库连接，该接口把数据源中需要清理的数据调入到系统中，执行数据清理。
3.根据权利要求1所述的针对不完整数据的大数据清洗方法，其特征在于，所述步骤S2中，数据预处理是指标准化数据记录格式，根据预定义的规则，把数据记录中的相应字段转换成同一格式。
4.根据权利要求1所述的针对不完整数据的大数据清洗方法，其特征在于，所述步骤S3中，利用算法库、规则库及数据清理日志完成对不完整数据的相关处理。
5.根据权利要求1所述的针对不完整数据的大数据清洗方法，其特征在于，所述步骤S4中，JDBC将处理所得的正确数据导出至新数据库。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州明领基因科技有限公司，未经广州明领基因科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201711239139.1/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种监控数据质量的方法和装置
- 下一篇：一种支持扩展的模块化大数据清理系统
