[发明专利]一种数据管理方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据管理方法及装置。

背景技术

随着互联网技术的普及以及大数据技术的发展，数据规模越来越大，数据量成几何级数增长，有效的管理这些数据成为首要问题。

目前，数据管理的过程通常为：在获取数据之后，直接将数据对应的信息记录到数据管理表中，并存储数据。对数据管理时，在数据管理表中查询数据的相关信息，根据相关信息对数据进行管理。

但是，在上述过程中，由于未对数据进行任何处理，就直接将数据对应的信息记录到数据管理表中，可能导致数据管理表中的信息存在错误或重复，且数据对应的所有信息均记录在数据管理表中，会导致数据管理表中的信息量巨大，因此现有的方式，对数据有效的管理的便利性较低。

发明内容

本发明提供了一种数据管理方法及装置，可以提高数据管理的便利性。

第一方面，本发明提供了一种数据管理方法，该方法包括：

获取待处理数据；

通过预先设定的数据清洗过滤规则对所述待处理数据进行清洗过滤；

为清洗过滤后的所述待处理数据标记至少一种维度；

生成与清洗过滤后的所述待处理数据对应的资源数据表；

生成与所述至少一种维度对应的至少一种维度数据管理表；

将所述资源数据表分别与每一种所述维度数据管理表相关联；

利用关联后的所述资源数据表与每一种所述维度数据管理表，对清洗过滤后的所述待处理数据进行管理。

优选地，

所述获取待处理数据之前，进一步包括：

预先设定数据格式；

所述获取待处理数据，包括：

通过数据仓库技术ETL中的水壶工具集kettle获取与所述数据格式一致的待处理数据。

优选地，

所述通过预先设定的数据清洗过滤规则对所述待处理数据进行清洗过滤，包括：

确定所述待管理数据对应的至少一个清洗过滤项目，以及确定至少一个清洗过滤条件参数；

在所述待管理数据中抽取每一个所述清洗过滤项目对应的目标数据；

针对于每一个所述清洗过滤项目均执行：比较当前所述清洗过滤项目对应的所述目标数据和所述清洗过滤条件参数，根据比较结果，得到清洗过滤后的所述待处理数据。

优选地，

所述清洗过滤项目包括：数据长度、数据行数、合法状态、格式状态、重复状态、完整性中的任意一种；

其中，所述数据长度对应的清洗过滤条件参数为长度阈值、所述数据行数对应的清洗过滤条件参数为行数阈值、所述合法状态对应的清洗过滤条件参数为非法字符串、所述格式状态对应的清洗过滤条件参数为预设格式、所述重复状态对应的清洗过滤条件参数为标题字符串、所述完整性对应的清洗过滤条件参数为尾标字符串。

优选地，

在所述将所述资源数据表分别与每一种所述维度数据管理表相关联之后，进一步包括：

利用关联后的所述资源数据表与每一种所述维度数据管理表，形成所述待管理数据的星型模型；

其中，所述星型模型，包括：

为每一种所述维度数据管理表中的维度分配对应的标识字符串；

利用所述资源数据表按照设定的排序规则记录每一种所述维度数据管理表中的维度对应的标识字符串，形成标识字段；

利用所述标识字段关联各个所述标识字符串。

优选地，

所述数据清洗过滤规则，包括：根据结构化查询语言SQL以及正则表达式制定的数据清洗过滤规则。

优选地，

所述至少一种维度，包括：标签维度、主题维度以及单位维度中的任一种或多种。

第二方面，本发明提供了一种数据管理装置，该装置包括：

获取单元，用于获取待处理数据；

清洗过滤单元，用于通过预先设定的数据清洗过滤规则对所述获取单元获取的所述待处理数据进行清洗过滤；

标记单元，用于为所述清洗过滤单元清洗过滤后的所述待处理数据标记至少一种维度；

生成单元，用于生成与所述清洗过滤单元清洗过滤后的所述待处理数据对应的资源数据表；生成与所述标记单元标记的所述至少一种维度对应的至少一种维度数据管理表；

关联单元，用于将所述生成单元生成的所述资源数据表分别与所述生成单元生成的每一种所述维度数据管理表相关联；