[发明专利]高维度大数据的关联规则分析方法、分析装置及存储介质

说明书

本发明公开了一种高维度大数据的关联规则分析方法、分析装置及存储介质，所述方法包括：获取高维度大数据；对所述高维度大数据进行预处理，获得预处理后大数据；基于所述预处理后大数据确定多个频繁项集；计算确定每个所述频繁项集的置信度；基于所述置信度确定所述高维度大数据的关联规则。通过在对高维度大数据进行关联规则分析时，首先进行降维优化处理，然后对频繁项集的置信度进行评估和分析，从而精确确定高维度大数据的关联规则，提高了分析效率和分析精确性。

技术领域

本发明涉及数据处理领域，具体地涉及一种高维度大数据的关联规则分析方法、一种高维度大数据的关联规则分析装置以及一种计算机可读存储介质。

背景技术

随着科学技术的不断发展，人们生活变得越来越集中化，在城市的发展过程中，人们的生活数据也越来越集中化，由此催生了大数据。

为了给人们提供更好的服务，技术人员期望对人们生活的大数据进行分析，以获得对服务进行优化或改进的数据基础，例如在交通事故成因分析、气象预测关联分析、基于兴趣的实时新闻推荐、银行营销方案推荐、电子商务搭配购买推荐、购物篮分析等应用场景被广泛应用。

在现有的大数据分析技术中，主要通过对大数据中每个数据之间的关联规则进行分析和挖掘，以进行数据分析工作，现有的关联规则挖掘方法主要包括基于精确算法的方法以及基于启发式算法的方法，然而在实际应用过程中：

基于精确算法的方法在面对高维海量大数据时，时间复杂度与存储空间的爆炸将导致计算时间的大量增加以及存储空间的极大占用，因此无法满足实际需求；

基于启发式算法的方法所能处理的数据集维度以及事物数量均较小，而虽然该方法能够在一定程度上提高处理数据的维度，但其精确性低于基于精确算法的方法，因此依然无法满足实际的大数据计算需求。

发明内容

为了克服现有技术中存在的上述技术问题，本发明实施例提供一种高维度大数据的关联规则分析方法，通过在对高维度大数据进行关联规则分析时，首先进行降维优化处理，然后对频繁项集的置信度进行评估和分析，从而精确确定高维度大数据的关联规则，提高了分析效率和分析精确性。

为了实现上述目的，本发明实施例提供一种高维度大数据的关联规则分析方法，所述方法包括：获取高维度大数据；对所述高维度大数据进行预处理，获得预处理后大数据；基于所述预处理后大数据确定多个频繁项集；计算确定每个频繁项集的置信度；基于每个频繁项集的置信度确定所述高维度大数据的关联规则。

优选地，所述对所述高维度大数据进行预处理，获得预处理后大数据，包括：对所述高维度大数据执行第一降维处理，获得第一处理后数据；确定所述第一处理后数据中两两数据之间的关联度；基于所述关联度对所述第一处理后数据执行第二降维处理，获得所述预处理后大数据。

优选地，所述基于所述预处理后大数据确定多个频繁项集，包括：根据所述处理后大数据确定多个子项集；计算确定每个子项集在预设事务范围内出现的第一出现概率；依次判断每个第一出现概率是否大于预设概率阈值；将第一出现概率大于所述预设概率阈值对应的子项集作为频繁项集。

优选地，所述计算确定每个所述频繁项集的置信度，包括：在所述频繁项集中确定第一计算数据和第二计算数据；计算确定所述第一计算数据和所述第二计算数据同时在所述预设事务范围内出现的第二出现概率；基于所述第二出现概率以及所述第一计算数据对应的第一出现概率，计算确定所述第一计算数据对应于所述第二计算数据的置信度。

优选地，所述基于所述置信度确定所述高维度大数据的关联规则，包括：获取预设置信度限值；依次判断每个所述频繁项集的置信度是否大于所述预设置信度限值；根据判断结果获取大于所述预设置信度限值的合格置信度；基于所述合格置信度确定对应频繁项集的初始关联规则；基于所述初始关联规则确定所述高维度大数据的关联规则。