[发明专利]一种基于一体化的Web-ETL大数据融合方法在审
| 申请号： | 202110366843.3 | 申请日： | 2021-04-06 |
| 公开（公告）号： | CN113111104A | 公开（公告）日： | 2021-07-13 |
| 发明（设计）人： | 徐孟宇;罗钦;黄宇;冯琦;叶莎莎 | 申请（专利权）人： | 创意信息技术股份有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/26;G06F16/953 |
| 代理公司： | 成都金英专利代理事务所(普通合伙) 51218 | 代理人： | 袁英 |
| 地址： | 610000 四川省成都*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 一体化 web etl 数据 融合 方法 | ||
1.一种基于一体化的Web-ETL大数据融合方法，其特征在于，所述大数据融合方法包括以下步骤：
S1：根据数据来源选择数据采集方式，进行数据采集，将采集的数据存入Web-ETL平台数据库，进行数据库资源配置；
S2：数据库资源配置完成后，自动抽取数据库的元数据，形成元数据列表；
S3：根据业务需求快速配置资源目录，形成对内数据资产的管理；
S4：由数据资源目录发布数据服务目录，用于数据共享与数据交换；
S5：采用Web-ETL工具和数据抓取工具对Web-ETL平台数据库中的数据进行加工处理、建模和调度。
2.如权利要求1所述的一种基于一体化的Web-ETL大数据融合方法，其特征在于，所述大数据融合处理方法还包括：
S6：使用搜索引擎ElasticSearch对元数据、数据资源目录、服务目录的内容进行快速检索。
3.如权利要求1所述的一种基于一体化的Web-ETL大数据融合方法，其特征在于，所述S4中的数据共享包括以下子步骤：
S41：将数据资源发布为服务目录，并投入到可视化的Web-ETL界面；
S42：数据共享申请通过后，生成相应的数据接口或数据文件；
S43：进行安全验证，获取生成的数据。
4.如权利要求3所述的一种基于一体化的Web-ETL大数据融合方法，其特征在于，所述S41还包括：
S411：展示对外数据服务目录，进行申请管理，并实时监控记录数据交换共享情况。
5.如权利要求4所述的一种基于一体化的Web-ETL大数据融合方法，其特征在于，所述对外数据服务目录包括：数据服务查询目录、数据服务发布目录、数据服务审核目录及数据服务监控目录。
6.如权利要求1所述的一种基于一体化的Web-ETL大数据融合方法，其特征在于，所述S5中的数据处理包括数据类型转换、数据过滤及数据计算。
7.如权利要求1所述的一种基于一体化的Web-ETL大数据融合方法，其特征在于，所述S1中数据采集方式包括：互联网采集、物联网采集、文件采集、接口采集及数据库直连。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于创意信息技术股份有限公司，未经创意信息技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110366843.3/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种智能综合大数据融合处理平台
- 下一篇：一种铝合金冷却成型模具及其工艺
