[发明专利]基于大数据的数据分析方法、装置、设备及可读存储介质

权利要求书

1.一种基于大数据的数据分析方法，其特征在于，所述基于大数据的数据分析方法包括以下步骤：

通过预置存储方式将数据结果表存储于预置数据库oracle集中，所述预置数据库oracle集中包括多个预置数据库oracle，所述数据结果表中存储有初始数据；

通过关联规则算法对所述数据结果表中的初始数据进行抽取，得到预处理数据结果表；

通过HIVE的连接算法join将所述预处理数据结果表进行合并，得到合并表，以及通过数据抽取工具Sqoop将所述合并表导入大数据平台；

通过所述大数据平台对所述预处理数据结果表中的预处理数据进行数据清洗，得到分摊结果数据表；

按照预置数据量对所述分摊结果数据表进行拆分，得到拆分数据结果表集合；

将所述拆分数据结果表集合中的拆分数据结果表以多任务多并发的形式同步导入分布式内存实时分析系统Druid，以及通过所述Druid对所述拆分数据结果表中的数据进行分析，得到由多个或单个维度的分析结果组成的分析结果集合；

判断是否存在获取分析结果的请求；

若存在获取分析结果的请求，则通过联机分析处理技术对所述分析结果集合进行分析，输出分析结果；

若不存在获取分析结果的请求，则继续执行所述判断是否存在获取分析结果的请求的步骤；

通过方差公式计算所述分析结果与预置期望值之间的偏差值；

判断所述偏差值是否大于或等于预设阈值；

若所述偏差值大于或等于预设阈值，则通过决策树对初始数据进行挖掘，得到挖掘结果。

2.如权利要求1所述的基于大数据的数据分析方法，其特征在于，所述通过预置存储方式将数据结果表存储于预置数据库oracle集中，所述预置数据库oracle集中包括多个预置数据库oracle，所述数据结果表中存储有初始数据包括以下步骤：

基于数据结果表中的初始数据以及维度，构造数据立方体并对所述数据立方体填充初始数据；

按照预置层级对所述数据立方体进行分区，得到多个子数据立方体；

将所述多个子数据立方体分别保存到预置数据库oracle集中，所述预置数据库oracle集中包括多个预置数据库oracle。

3.如权利要求2所述的基于大数据的数据分析方法，其特征在于，所述基于数据结果表中的初始数据以及所述维度，构造数据立方体并对所述数据立方体填充初始数据包括以下步骤：

通过公式V＝S*a对数据结果表中的初始数据进行维度分摊，得到维度，所述V为分摊后数据的维度，S为所述数据结果表中的初始数据，a为分摊因子；

基于所述维度与所述数据结果表中的初始数据，构建维表；

根据所述维表，构造事实表；

通过关联算法计算所述维表和所述事实表之间关联关系，基于所述关联关系构造星型模型；

根据所述星型模型，构建数据立方体。

4.如权利要求1所述的基于大数据的数据分析方法，其特征在于，在所述通过预置存储方式将数据结果表存储于预置数据库oracle集中，所述预置数据库oracle集中包括多个预置数据库oracle，所述数据结果表中存储有初始数据的步骤之前，还包括以下步骤：

通过预先标注好的训练样本训练初始决策树；

将预置分析结果输入所述初始决策树，输出初始挖掘结果；

判断所述初始挖掘结果的正确率是否满足预置正确率；

若所述初始挖掘结果的正确率满足预置正确率，则得到决策树模型，若所述初始挖掘结果的正确率不满足预置正确率，则继续执行通过预先标注好的训练样本训练初始决策树的步骤。

5.如权利要求1所述的基于大数据的数据分析方法，其特征在于，所述通过关联规则算法对所述数据结果表中的初始数据进行抽取，得到预处理数据结果表包括以下步骤：

对数据结果表中的预置数据挖掘频繁项集，得到关联规则；

基于所述关联规则对所述数据结果表中的初始数据进行抽取，得到抽取数据，判断所述抽取数据中是否存在数值型初始数据；

若所述抽取数据中存在所述数值型初始数据，则通过排序算法对所述数值型初始数据进行排序，得到预处理数据结果表。