[发明专利]一种用于农业数据分析处理的数据中台系统

权利要求书

1.一种用于农业数据分析处理的数据中台系统,其特征在于，所述系统包括数据采集模块和数据存储模块；

所述数据采集模块从多种数据源采集数据得到数据信息，根据自定义的映射关系将所述数据信息映射为格式化数据，将所述格式化数据存储于所述数据存储模块中；

所述数据存储模块对所述格式化数据进行分布式存储和数据备份存储，实现服务器集群之间的存储资源共享。

2.根据权利要求1所述的系统，其特征在于，所述系统包括数据录入模块；

所述数据录入模块支持自定义二维表表头、多种数据录入方式以及对录入数据的自动校验，通过设置字段主键值防止数据重复录入。

3.根据权利要求2所述的系统，其特征在于，所述系统包括编码模块；

所述编码模块支持多种编码语言对数据进行分析处理，所述编码模块对数据存储模块中的数据按照数据仓库分层架构及具体业务逻辑使用编码语言进行处理、存储；所述编码语言包括hive。

4.根据权利要求3所述的系统，其特征在于，所述数据仓库分层架构包括：

贴源层：用于存放数据录入模块录入的数据以及通过数据采集模块从其他数据源采集的数据，每个数据在贴源层中形成一张单独的数据表；

基础层：用于按照主题通过hive脚本对贴源层的表进行数据清洗并汇集成业务主题，存入基础层的主题表中；

汇聚层：用于结合标签体系，将基础层中已经汇聚成主题的表加上主题相关的自定义统计项，结合形成汇聚层表；

应用层：用于存放根据基础层主题数据及汇聚层的标签体系数据，经过自定义逻辑处理后，为经营决策提供数据支持的结果集数据。

5.根据权利要求3所述的系统，其特征在于，所述编码模块内置多种编码语言的解析器、编译器、执行器及自定义函数解析器，引用数据处理公式对数据进行关联及聚合计算分析，并将处理后的结果数据存储于所述存储模块中。

6.根据权利要求5所述的系统，其特征在于，所述数据处理公式包括不允许编辑和更改的基本公式和允许通过Java语法编辑的自定义公式。

7.根据权利要求6所述的系统，其特征在于，所述编辑自定义公式包括：

在maven项目中重新编辑自定义公式并打成jar包；在数据中台系统中重新上传编辑的jar包，自动完成自定义公式更新；

所述编码模块对数据进行编码包括：在可视化界面进行代码脚本的编写，集成脚本的版本控制功能，依据发布功能进行版本的更新和回滚；采用内置的解析器对提交执行的代码脚本进行代码解析及自定义函数解析；使用多种计算引擎进行计算。

8.根据权利要求7所述的系统，其特征在于，所述系统包括编码存储模块；

所述编码存储模块用于存储编码模块开发的业务代码，使得所述业务代码与所述数据信息分离存储。

9.根据权利要求8所述的系统，其特征在于，所述系统包括数据分析模块，

所述数据分析模块对存储模块中的数据进行分析处理，通过工作流调动执行代码脚本的方式对数据进行计算分析，所述工作流之间定义有依赖关系，用于进行执行先后顺序的控制。

10.根据权利要求9所述的系统，其特征在于，所述通过工作流调动执行代码脚本的方式对数进行计算分析包括：

通过可视化界面配置工作流节点的脚本引用及调度节点的依赖关系；自定义配置等待时间，根据节点是否完成当前的执行任务确定是否进入执行计算阶段或者进入执行等待状态。