[发明专利]一种多源数据接入汇聚方法及装置

说明书

本说明书实施例公开了一种多源数据接入汇聚方法和装置，包括，将数据接入系统的启动配置信息写入开机脚本；在开机过程中，自启动所述数据接入系统；在启动所述数据接入系统后，接入多源数据；建立元数据管理模型，以将接入的所述多源数据转化为预设的数据格式，得到不同类别的主题数据；构建主题数据订阅模板，使得用户基于所述主题数据订阅模板选择需要订阅的主题数据。本说明书实施例提供的多源数据接入汇聚方法，可以实现数据接入系统的自启动，并将接入的多源数据进行统一格式管理，简化数据中心配置和数据管理的复杂性。

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及一种多源数据接入汇聚方法及装置。

背景技术

随着工业化与信息化的深度融合，企业内部及企业的不同部门之间生产控制系统和生产管理系统互联互通的需求渐增，或者，同一业务的不同机构之间需要进行业务数据等信息的互联互通。

而这些业务数据、物联数据、或者其他文件数据等来源于不同的设备、不同的机构等，数据格式结构完全不同，为方便需要这些互联互通数据的用户进行数据查询，现有技术中提供一种数据接入汇聚系统，将不同来源的数据汇聚接入到一个系统中，这样，用户就可以直接通过这个数据接入汇聚系统查询需要的数据。

然而，传统的数据接入汇聚系统，系统配置复杂，管理难度较高，接入的多源数据无法统一格式，数据查询困难，并且数据接入汇聚系统的运行容易受到环境的影响。

发明内容

有鉴于此，本说明书实施例提供了一种多源数据接入汇聚方法及装置，用于解决现有技术中传统的数据接入汇聚系统操作配置困难、运行容易受到环境影响的问题。

本说明书实施例采用下述技术方案：

本说明书实施例提供一种多源数据接入汇聚方法，包括：

将数据接入系统的启动配置信息写入开机脚本；

在开机过程中，自启动所述数据接入系统；

在启动所述数据接入系统后，接入多源数据；

建立元数据管理模型，以将接入的所述多源数据转化为预设的数据格式，得到不同类别的主题数据；

构建主题数据订阅模板，使得用户基于所述主题数据订阅模板选择需要订阅的主题数据。

进一步的，接入多源数据，包括：

新建数据接入任务；

配置数据链接；

接入多源数据，其中，所述多源数据包括物联设备数据、业务信息系统数据、其他文件数据。

进一步的，在接入多源数据之后，还包括：

对接入的所述多源数据进行扫描，得到扫描结果；

根据所述扫描结果判断所述多源数据是否传输成功，得到第一判断结果；

若所述第一判断结果为是，则将接入的所述多源数据写入文件记录表；

若所述第一判断结果为否，则继续进行多源数据传输。

进一步的，建立元数据管理模型，包括：

按照预设维度，对接入的所述多源数据进行数据分类；

对不同类别的多源数据进行标签处理，得到不同标签类别的主题数据。

进一步的，构建主题数据订阅模板，使得用户基于所述主题数据订阅模板选择需要订阅的主题数据，包括：

利用所述主题数据订阅模板选择订阅元素；

根据选择的所述订阅元素生成离线订阅任务，所述离线订阅任务携带有用户标识。

进一步的，所述订阅元素至少包括需订阅的主题数据、数据更新周期、触发条件。

进一步的，所述主题数据订阅模板采用视图的方式在所述数据接入系统的界面中展示。