[发明专利]基于大数据的数据分析方法、装置、设备及可读存储介质

说明书

本发明涉及人工智能技术领域，公开了一种基于大数据的数据分析方法，包括以下步骤：对数据结果表中的初始数据进行抽取并进行合并，得到合并表，以及通过数据抽取工具Sqoop将合并表导入大数据平台；通过大数据平台对预处理数据结果表中的预处理数据进行数据清洗，得到分摊结果数据表；对分摊结果数据表进行拆分，得到拆分数据结果表集合并导入分布式内存实时分析系统Druid，得到分析结果集，若偏差值大于或等于预设阈值，则通过决策树对初始数据进行挖掘，得到挖掘结果。本发明还公开了一种基于大数据的数据分析装置、设备及计算机可读存储介质。本发明提供的基于大数据的数据分析方法提高了数据分析的效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于大数据的数据分析方法、装置、设备及计算机可读存储介质。

背景技术

目前，随着数据量的增加，传统的数据分析工具很难对大数据场景下海量的数据进行有效分析，因此在对多维度、大批量的数据进行分析时，往往会消耗较多的时间。如何提高数据分析的效率,是目前本技术领域技术人员亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种基于大数据的数据分析方法、装置、设备及计算机可读存储介质，旨在解决数据分析效率较低的技术问题。

为实现上述目的，本发明提供一种基于大数据的数据分析方法，所述基于大数据的数据分析方法包括以下步骤：

通过预置存储方式将数据结果表存储于预置数据库oracle集中，所述预置数据库oracle集中包括多个预置数据库oracle，所述数据结果表中存储有初始数据；

通过关联规则算法对所述数据结果表中的初始数据进行抽取，得到预处理数据结果表；

通过HIVE的连接算法join将所述预处理数据结果表进行合并，得到合并表，以及通过数据抽取工具Sqoop将所述合并表导入大数据平台；

通过所述大数据平台对所述预处理数据结果表中的预处理数据进行数据清洗，得到分摊结果数据表；

按照预置数据量对所述分摊结果数据表进行拆分，得到拆分数据结果表集合；

将所述拆分数据结果表集合中的拆分数据结果表以多任务多并发的形式同步导入分布式内存实时分析系统Druid，以及通过所述Druid对所述拆分数据结果表中的数据进行分析，得到由多个或单个维度的分析结果组成的分析结果集合；

判断是否存在获取分析结果的请求；

若存在获取分析结果的请求，则通过联机分析处理技术对所述分析结果集合进行分析，输出分析结果；

若不存在获取分析结果的请求，则继续执行所述判断是否存在获取分析结果的请求的步骤；

通过方差公式计算所述分析结果与预置期望值之间的偏差值；

判断所述偏差值是否大于或等于预设阈值；

若所述偏差值大于或等于预设阈值，则通过决策树对初始数据进行挖掘，得到挖掘结果，若否，则不处理。

可选地，所述通过预置存储方式将数据结果表存储于预置数据库oracle集中，所述预置数据库oracle集中包括多个预置数据库oracle，所述数据结果表中存储有初始数据包括以下步骤：

基于数据结果表中的初始数据以及维度，构造数据立方体并对所述数据立方体填充初始数据；

按照预置层级对所述数据立方体进行分区，得到多个子数据立方体；

将所述多个子数据立方体分别保存到预置数据库oracle集中，所述预置数据库oracle集中包括多个预置数据库oracle。