[发明专利]一种数据管理方法及装置

权利要求书

1.一种数据管理方法，其特征在于，包括：

获取待处理数据；

通过预先设定的数据清洗过滤规则对所述待处理数据进行清洗过滤；

为清洗过滤后的所述待处理数据标记至少一种维度；

生成与清洗过滤后的所述待处理数据对应的资源数据表；

生成与所述至少一种维度对应的至少一种维度数据管理表；

将所述资源数据表分别与每一种所述维度数据管理表相关联；

利用关联后的所述资源数据表与每一种所述维度数据管理表，对清洗过滤后的所述待处理数据进行管理。

2.根据权利要求1所述的方法，其特征在于，

所述获取待处理数据之前，进一步包括：

预先设定数据格式；

所述获取待处理数据，包括：

通过数据仓库技术ETL中的水壶工具集kettle获取与所述数据格式一致的待处理数据。

3.根据权利要求1所述的方法，其特征在于，

所述通过预先设定的数据清洗过滤规则对所述待处理数据进行清洗过滤，包括：

确定所述待管理数据对应的至少一个清洗过滤项目，以及确定至少一个清洗过滤条件参数；

在所述待管理数据中抽取每一个所述清洗过滤项目对应的目标数据；

针对于每一个所述清洗过滤项目均执行：比较当前所述清洗过滤项目对应的所述目标数据和所述清洗过滤条件参数，根据比较结果，得到清洗过滤后的所述待处理数据。

4.根据权利要求3所述的方法，其特征在于，

所述清洗过滤项目包括：数据长度、数据行数、合法状态、格式状态、重复状态、完整性中的任意一种；

其中，所述数据长度对应的清洗过滤条件参数为长度阈值、所述数据行数对应的清洗过滤条件参数为行数阈值、所述合法状态对应的清洗过滤条件参数为非法字符串、所述格式状态对应的清洗过滤条件参数为预设格式、所述重复状态对应的清洗过滤条件参数为标题字符串、所述完整性对应的清洗过滤条件参数为尾标字符串。

5.根据权利要求1所述的方法，其特征在于，

在所述将所述资源数据表分别与每一种所述维度数据管理表相关联之后，进一步包括：

利用关联后的所述资源数据表与每一种所述维度数据管理表，形成所述待管理数据的星型模型；

其中，所述星型模型，包括：

为每一种所述维度数据管理表中的维度分配对应的标识字符串；

利用所述资源数据表按照设定的排序规则记录每一种所述维度数据管理表中的维度对应的标识字符串，形成标识字段；

利用所述标识字段关联各个所述标识字符串。

6.根据权利要求1至5任一所述的方法，其特征在于，

所述数据清洗过滤规则，包括：根据结构化查询语言SQL以及正则表达式制定的数据清洗过滤规则；

和/或，

所述至少一种维度，包括：标签维度、主题维度以及单位维度中的任一种或多种。

7.一种数据管理装置，其特征在于，包括：

获取单元，用于获取待处理数据；

清洗过滤单元，用于通过预先设定的数据清洗过滤规则对所述获取单元获取的所述待处理数据进行清洗过滤；

标记单元，用于为所述清洗过滤单元清洗过滤后的所述待处理数据标记至少一种维度；

生成单元，用于生成与所述清洗过滤单元清洗过滤后的所述待处理数据对应的资源数据表；生成与所述标记单元标记的所述至少一种维度对应的至少一种维度数据管理表；

关联单元，用于将所述生成单元生成的所述资源数据表分别与所述生成单元生成的每一种所述维度数据管理表相关联；

管理单元，用于利用所述关联单元关联后的所述资源数据表与每一种所述维度数据管理表，对清洗过滤后的所述待处理数据进行管理。

8.根据权利要求7所述的装置，其特征在于，

进一步包括：设定单元；

所述设定单元，用于预先设定数据格式；

所述获取单元，用于通过数据仓库技术ETL中的水壶工具集kettle获取与所述设定单元设定的所述数据格式一致的待处理数据。