[发明专利]一种基于高可配可变更的数据处理方法

说明书

本发明提出了一种基于高可配可变更的数据处理方法，包括：接入多数据源的高可配可变更数据；自定义处理流程的工具模板，制定业务线的处理流程；自定义处理逻辑的工具模板，执行业务线的处理逻辑；输出处理逻辑的高可配可变更数据；对输出的高可配可变更数据，采用反射机制将步骤S2的业务线的处理流程和步骤S3的业务线的处理逻辑，反射到Flink，由Flink采用实时流处理技术，代为按照处理逻辑执行业务线的处理流程；自动化处理和私有化定制数据服务，得到目标数据。本发明实现有效过滤垃圾数据以及在各系统间实时的采集，处理，存储等数据之间的互动，为各类数据、数据源已经存储位置提供高效稳定的数据支持与服务。

技术领域

本发明涉及大数据技术领域，特别涉及一种基于高可配可变更的数据处理方法。

背景技术

随着互联网发展，云计算，物联网，大数据不断的融入我们的生活，现如今已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合VaR(valueatrisk)或者机器学习方案进行信贷风控，零售、餐饮行业需要大数据系统实现辅助销售决策，各种IOT场景需要大数据系统持续聚合和分析时序数据，各大科技公司需要建立大数据分析中台等等。

抽象来看，支撑这些场景需求的分析系统，面临大致相同的技术挑战：

1、业务分析的数据范围横跨实时数据和历史数据，既需要低延迟的实时数据分析，也需要对PB级的历史数据进行探索性的数据分析；

2、可靠性和可扩展性问题，用户可能会需要存储多个位置的历史数据，同时数据规模有持续增长的趋势，需要引入多位置存储系统来满足可靠性和可扩展性需求；

3、技术栈深，需要组合流式组件、存储系统、计算组件和调度管理；

4、可运维性要求高，复杂的大数据架构难以维护和管控。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于高可配可变更的数据处理方法。

为了实现上述目的，本发明的实施例提供一种基于高可配可变更的数据处理方法，包括如下步骤：

步骤S1，接入多数据源的高可配可变更数据；

步骤S2，根据接入的高可配可变更数据，自定义处理流程的工具模板，制定业务线的处理流程；

步骤S3，根据接入的高可配可变更数据，自定义处理逻辑的工具模板，执行业务线的处理逻辑；

步骤S4，输出处理逻辑的高可配可变更数据；

步骤S5，对输出的高可配可变更数据，采用反射机制将步骤S2的业务线的处理流程和步骤S3的业务线的处理逻辑，反射到Flink，由Flink采用实时流处理技术，代为按照处理逻辑执行业务线的处理流程；

步骤S6，执行业务线的处理流程，进行自动化处理和私有化定制数据服务，得到目标数据。

进一步，在所述步骤S2和步骤S3中，采用java技术自定义处理流程的工具模板和处理逻辑的工具模板。

进一步，在所述步骤S1中，依次采用工厂模式和抽象模式对高可配可变更数据进行处理，以进行多个等级数据的处理，实现高可配可可变更多数据源的数据接入。

进一步，在所述步骤S3中，在基于已定义的数据处理逻辑的基础上，进一步增加制定针对多数据源的不同处理逻辑，包括但不限于文本、图片、视频、指纹的数据类型。

进一步，在所述步骤S4中，对不同数据输出位置采用不同的数据处理逻辑，包括但不限于关系型数据库、非关系型数据库和文件存储系统。

进一步，(1)对Objcet进行基础配置；