[发明专利]一种数据采集管理系统及方法在审
| 申请号： | 201811202980.8 | 申请日： | 2018-10-16 |
| 公开（公告）号： | CN109344148A | 公开（公告）日： | 2019-02-15 |
| 发明（设计）人： | 徐奎东;沈欢;潘宁;杨秋芬;张鹏;高扬;夏列鹏;邵慧斌;孙恒;黄丰林;钟南;赵世杰;张浩 | 申请（专利权）人： | 万达信息股份有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/25 |
| 代理公司： | 北京卓恒知识产权代理事务所(特殊普通合伙) 11394 | 代理人： | 高新升;王悦 |
| 地址： | 上海市闵*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种数据采集管理系统及方法，该系统包括系统管理、对码管理、数据质量控制、资源库管理、数据源管理、ETL参数配置、ETL运行管理、ETL运行日志、监控节点配置、运行监控与分析；该系统连接Kettle C/S数据采集流程配置；该方法包括在数据采集流程中，自动生成平台建设所需机构数据库中涉及的表结构，自动采集配置规则范围内的数据，自动校验本生成数据质量检验结果；本发明解决了现有技术中存在的人员角色过多、定时任务之间衔接贯通不便及数据质量得不到保障的缺陷，本发明实现了大数据平台建设数据标准化采集、数据汇聚、数据清洗、对码转码、数据质量校验等各流程动态配置，运行流畅、数据质量可控、易于实施维护、数据采集高效稳定。 | ||
| 搜索关键词： | 数据采集管理系统 数据采集流程 对码 数据质量控制 质量检验结果 机构数据库 参数配置 动态配置 监控节点 建设数据 配置规则 人员角色 数据采集 数据汇聚 数据清洗 系统管理 系统连接 运行管理 运行监控 质量校验 自动采集 自动生成 自动校验 表结构 大数据 数据源 资源库 日志 可控 配置 转码 管理 标准化 贯通 采集 衔接 分析 维护 建设 | ||
【主权项】：
1.一种数据采集管理系统，其特征在于，包括系统管理、对码管理、数据质量控制、资源库管理、数据源管理、ETL参数配置、ETL运行管理、ETL运行日志、监控节点配置、运行监控与分析；该系统连接数据采集流程配置，所述数据采集流程配置提供数据采集配置文件规则。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于万达信息股份有限公司，未经万达信息股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811202980.8/，转载请声明来源钻瓜专利网。
