[发明专利]一种利用数据结构控制数据准备过程的方法

权利要求书

1.一种利用数据结构控制数据准备过程的方法，其特征在于，包括以下步骤：

S101，数据抽取流程：将数据源的数据文件，以数据接口的方式进行抽取，获得源数据；获取数据抽取流程中的配置信息，然后将数据抽取流程需要的配置信息进行结构化处理；

S102，数据概要分析流程：对步骤S101获得的源数据进行概要分析，以保证源数据的合法性与合理性；并获取数据概要分析流程中的配置信息，然后将数据概要分析流程的配置信息进行结构化处理；

S103，数据异常处理流程：对步骤S102概要分析后的数据进行异常处理，消除数据中的异常情况；获取异常处理流程中的配置信息，然后将数据异常处理流程的配置信息进行结构化处理；

S104，数据清洗流程：对步骤S103异常处理后的数据进行清洗，以保证数据的有效性、提高数据质量；获取数据清洗流程中的配置信息，然后将数据清洗流程的配置信息进行结构化处理；

S105，数据转换流程：定义数据字段，将步骤S104中经过数据清洗后的数据按照已经定义好的数据字段进行转换，获得转换后的数据字段；获取数据转换流程中的配置信息，然后将数据转换流程的配置信息进行标准化处理；

S106，业务映射流程：将数据分析需要的业务指标、业务逻辑、运算过程映射到S105数据转换完成后的数据字段上；

S107，数据准备输出流程：定义数据准备输出的结果数据、输出配置信息，并对数据准备输出的结果数据、输出配置信息进行结构化处理；

S108，将S101，S102，S103，S104，S105，S106，S107流程的结构化配置信息封装到数据结构中。

2.根据权利要求1所述的一种利用数据结构控制数据准备过程的方法，其特征在于，步骤S101中进行数据抽取时，不同的数据接口使用不同的抽取技术和接口方式。

3.根据权利要求1所述的一种利用数据结构控制数据准备过程的方法，其特征在于，步骤S102中数据概要分析的分析方法包括列分析、交叉列分析、表分析和交叉表分析四大类型，概要分析的具体的分析内容包括值域分析、基数分析、类型监测、数据分布、波动监测、异常值监测、功能相关性分析、主键唯一性分析、表基础分析、外键分析和血缘分析。

4.根据权利要求1所述的一种利用数据结构控制数据准备过程的方法，其特征在于，步骤S103数据异常处理流程中的数据异常包括句法异常、语义异常和覆盖异常，不同的数据异常类型进行相应的异常处理。

5.根据权利要求1所述的一种利用数据结构控制数据准备过程的方法，其特征在于，步骤S104中，数据清洗的内容包括数据审计、数据工作流规范、数据工作流执行和数据后加工与处理，数据清洗的方法包括数值修正、数据整形、数据逻辑优化和数据修复。

6.根据权利要求1所述的一种利用数据结构控制数据准备过程的方法，其特征在于，步骤S105中，数据转换流程中包括数字到数字的转换，语义变量到数字的转换、命题逻辑转换、离散化、二值化和粒度转换。

7.根据权利要求1所述的一种利用数据结构控制数据准备过程的方法，其特征在于，业务映射包括全量映射、差量映射和无映射三种情况。

8.根据权利要求1所述的一种利用数据结构控制数据准备过程的方法，其特征在于，步骤108中，步骤S101，S102，S103，S104，S105，S106，S107流程的结构化配置信息均封装到同一种数据结构中。