[发明专利]生成结构化数据资产的方法、装置

说明书

本申请实施例提供了一种生成结构化数据资产的方法、装置，方法包括：基于设定的数据采集模型，从多数据源采集待结构化的源数据；根据设定的资产盘点模型，对所述待结构化的源数据进行盘点处理，以建立待结构化的源数据的类别映射关系；根据设定的资产标签，对所述映射关系中的每一类待结构化的源数据进行结构化处理，以得到结构化数据资产并存储到结构化数据库中，降低了数据资产的生产难度。

技术领域

本申请涉及大数据技术领域，特别是涉及一种生成结构化数据资产的方法、装置。

背景技术

大数据的到来，数据的价值越来凸显化，因此，如果能够对海量数据进行挖掘好，能够提供极有价值的客观依据，使得数据成为重要的资产。

但是，现有技术中，产生数据的数据源数量较大，且各个数据源产生的数据在格式化纷繁复杂，现有技术中，往往是通过手工标定，然后据此进行后续的处理过程，导致形成数据资产的难度较大。

发明内容

基于上述问题，本申请实施例提供了一种生成结构化数据资产的方法、装置。

本申请实施例公开了如下技术方案：

一种生成结构化数据资产的方法，其包括：

基于设定的数据采集模型，从多数据源采集待结构化的源数据；

根据设定的资产盘点模型，对所述待结构化的源数据进行盘点处理，以建立待结构化的源数据的类别映射关系；

根据设定的资产标签，对所述映射关系中的每一类待结构化的源数据进行结构化处理，以得到结构化数据资产并存储到结构化数据库中。

可选地，所述基于设定的数据采集模型，从多数据源采集待结构化的源数据，包括：基于设定的定时轮询采集模型，按照设定的采集间隔和单次采集数据量阈值，从多数据源采集待结构化的源数据，所述定时轮询采集模型作为所述数据采集模型。

可选地，所述基于设定的数据采集模型，从多数据源采集待结构化的源数据，包括：基于设定的数据反爬采集模型，在每次采集时生成虚拟的用户登录信息以创建用户登录态，以从多数据源采集待结构化的源数据。

可选地，所述根据设定的资产盘点模型，对所述待结构化的源数据进行盘点处理，以建立待结构化的源数据的类别映射关系，包括：根据设定的资产盘点模型，对所述待结构化的源数据进行去重处理，以建立待结构化的源数据的类别映射关系。

可选地，所述根据设定的资产标签，对所述映射关系中的每一类待结构化的源数据进行结构化处理，以得到结构化数据资产并存储到结构化数据库中，包括：基于设定的数据源的标识，对所述映射关系中的每一类待结构化的源数据进行结构化处理，以得到结构化数据资产并存储到结构化数据库中，所述设定的资产标签为所述设定的数据源的标识。

一种生成结构化数据资产的装置，其包括：

数据采集单元，用于基于设定的数据采集模型，从多数据源采集待结构化的源数据；

数据盘点单元，用于根据设定的资产盘点模型，对所述待结构化的源数据进行盘点处理，以建立待结构化的源数据的类别映射关系；

数据加签单元，用于根据设定的资产标签，对所述映射关系中的每一类待结构化的源数据进行结构化处理，以得到结构化数据资产并存储到结构化数据库中。

可选地，所述基于设定的数据采集模型，从多数据源采集待结构化的源数据，包括：基于设定的定时轮询采集模型，按照设定的采集间隔和单次采集数据量阈值，从多数据源采集待结构化的源数据，所述定时轮询采集模型作为所述数据采集模型。

一种计算机存储介质，所述计算机存储介质上存储有被执行时执行本申请实施例任一项所述方法的计算机软件程序。