[发明专利]一种用于农业数据分析处理的数据中台系统

说明书

本发明涉及一种用于农业数据分析处理的数据中台系统,属于大数据技术领域。所述系统包括数据采集模块和数据存储模块；所述数据采集模块从多种数据源采集数据得到数据信息，根据自定义的映射关系将所述数据信息映射为格式化数据，将所述格式化数据存储于所述数据存储模块中；所述数据存储模块对所述格式化数据进行分布式存储和数据备份存储，实现服务器集群之间的存储资源共享。本系统将各农业系统不同数据源、不同数据格式的数据格式化并统一存储，提高了数据之间的共享互通；通过分布式存储提高了数据中台系统的存储能力与计算能力，解决了大量农业数据分析处理的计算瓶颈，为农业的经营决策及管理提供高效便捷的数据支持。

技术领域

本发明属于大数据技术领域，尤其涉及一种用于农业数据分析处理的数据中台系统。

背景技术

农业数据分析处理的主要技术是数据中台系统。通常情况下，数据中台系统同步所属农业产品后台数据，存储于数据中台，根据自定义业务逻辑对该农业数据进行挖掘、分析、处理获取结果数据集，并对结果数据集进行封装，为农业领域从事人员提供可视化查询、查看入口，从而为其运营决策提供数据支持。

现有技术中，在实现数据分析时，通过数据关键词信息进行编码加工处理，如果数据源来源复杂，数据特征不一，可能会出现各不同数据源的数据分别分析，无法整合处理，造成不同业务系统之间数据割裂的问题。

目前国内各农业系统由于业务模式不同，数据生成方式复杂多样，造成数据存储格式不同，数据之间难以交互共享，常规存储模式无法应对大数据量的存储要求，造成数据分开存储，导致数据分散；常规计算模式无法高效的对大数据量农业数进行分析计算，不便于挖掘数据价值，造成农业数据的资源浪费。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种用于农业数据分析处理的数据中台系统，将各农业系统不同数据源、不同数据格式的数据格式化并统一存储，提高了数据之间的共享互通；通过分布式存储提高了数据中台系统的存储能力与计算能力，解决了大量农业数据分析处理的计算瓶颈，为农业的经营决策及管理提供高效便捷的数据支持。

根据本发明的一个方面，本发明提供了一种用于农业数据分析处理的数据中台系统,所述系统包括数据采集模块和数据存储模块；

所述数据采集模块从多种数据源采集数据得到数据信息，根据自定义的映射关系将所述数据信息映射为格式化数据，将所述格式化数据存储于所述数据存储模块中；

所述数据存储模块对所述格式化数据进行分布式存储和数据备份存储，实现服务器集群之间的存储资源共享。

优选地，所述系统包括数据录入模块；

所述数据录入模块支持自定义二维表表头、多种数据录入方式以及对录入数据的自动校验，通过设置字段主键值防止数据重复录入。

优选地，所述系统包括编码模块；

所述编码模块支持多种编码语言对数据进行分析处理，所述编码模块对数据存储模块中的数据按照数据仓库分层架构及具体业务逻辑使用编码语言进行处理、存储；所述编码语言包括hive。

优选地，所述数据仓库分层架构包括：

贴源层：用于存放数据录入模块录入的数据以及通过数据采集模块从其他数据源采集的数据，每个数据在贴源层中形成一张单独的数据表；

基础层：用于按照主题通过hive脚本对贴源层的表进行数据清洗并汇集成业务主题，存入基础层的主题表中；

汇聚层：用于结合标签体系，将基础层中已经汇聚成主题的表加上主题相关的自定义统计项，结合形成汇聚层表；

应用层：用于存放根据基础层主题数据及汇聚层的标签体系数据，经过自定义逻辑处理后，为经营决策提供数据支持的结果集数据。

优选地，所述编码模块内置多种编码语言的解析器、编译器、执行器及自定义函数解析器，引用数据处理公式对数据进行关联及聚合计算分析，并将处理后的结果数据存储于所述存储模块中。