[发明专利]一种基于一体化的Web-ETL大数据融合方法

说明书

本发明公开了一种基于一体化的Web‑ETL大数据融合方法，包括以下步骤：S1：根据数据来源选择数据采集方式，进行数据采集，将采集的数据存入Web‑ETL平台数据库，进行数据库资源配置；S2：数据库资源配置完成后，自动抽取数据库的元数据，形成元数据列表S3：根据业务需求快速配置资源目录，形成对内数据资产的管理；S4：由数据资源目录发布数据服务目录，用于数据共享与数据交换；S5：采用Web‑ETL工具和数据抓取工具对Web‑ETL平台数据库中的数据进行加工处理、建模和调度。本发明通过一体化的Web‑ETL工具和数据抓取工具，提供面向对象的操作方式，一站式完成数据采集、加工处理流程，提高了用户对数据治理工具操作的延续性，降低数据处理的维护成本。

技术领域

本发明涉及大数据处理领域，尤其涉及一种基于一体化的Web-ETL大数据融合方法。

背景技术

信息融合最早应用于军事领域，是组合多源信息和数据完成目标检测、关联、状态评估的多层次、多方面的过程。数据融合技术能够辅助人们进行态势和环境的判定、规划、探测、验证、诊断。目前，数据融合技术在我国还处于初级发展阶段，迫切需要在理论和实现技术上进行开拓性研究。在专利号为 CN201810189318.7 的发明专利申请文件中有提到：当前对大数据的利用主要是基于其非结构化的属性使用的，因此无法充分发挥大数据的价值和利用效率。大数据普遍存在数据量大、离散性、数据噪声多、类型复杂、数据来源多元化等特点，因此大数据在前期处理方面存在问题，会直接导致数据的利用效率和数据价值等方面的问题。目前的大数据融合数据处理过程较为麻烦，且操作也不方便，数据处理的运维成本较高，不利于推广使用范围。

发明内容

基于此，本发明的目的是为了解决现有技术中大数据融合过程较为麻烦，且操作也不方便，数据处理运维成本较高的问题。

为实现上述目的，本发明提出一种基于一体化的Web-ETL大数据融合方法，所述大数据融合方法包括以下步骤：

S1：根据数据来源选择数据采集方式，进行数据采集，将采集的数据存入Web-ETL平台数据库，进行数据库资源配置；

S2：数据库资源配置完成后，自动抽取数据库的元数据，形成元数据列表；

S3：根据业务需求快速配置资源目录，形成对内数据资产的管理；

S4：由数据资源目录发布数据服务目录，用于数据共享与数据交换；

S5：采用Web-ETL工具和数据抓取工具对Web-ETL平台数据库中的数据进行加工处理、建模和调度。

所述大数据融合处理方法还包括：

S6：使用搜索引擎ElasticSearch对元数据、数据资源目录、服务目录的内容进行快速检索。

所述S4中的数据共享包括以下子步骤：

S41：将数据资源发布为服务目录，并投入到可视化的Web-ETL界面；

S42：数据共享申请通过后，生成相应的数据接口或数据文件；

S43：进行安全验证，获取生成的数据。

所述S41还包括：

S411：展示对外数据服务目录，进行申请管理，并实时监控记录数据交换共享情况。

所述对外数据服务目录包括：数据服务查询目录、数据服务发布目录、数据服务审核目录及数据服务监控目录。

所述S5中的数据处理包括数据类型转换、数据过滤及数据计算。

所述S1中数据采集方式包括：互联网采集、物联网采集、文件采集、接口采集及数据库直连。

本申请的有益效果：通过一体化的Web-ETL工具和数据抓取工具，支持图形化操作界面、免编程应用，提供面向对象的操作方式，一站式完成数据采集、加工处理流程。在一个面板工作区就可以实现加工、建模、调度的一体化配置，提高了用户对数据治理工具操作的延续性，降低数据处理的维护成本。