[发明专利]一种基于Hadoop的数据分析方法

摘要

本发明提供了一种基于Hadoop的数据分析方法，用于通过基于云计算的数据分析处理系统进行数据分析，所述数据分析处理系统基于Hadoop平台作为计算环境，该数据分析处理系统由数据存储模块、数据分析模块和事务处理模块构成，使用Hadoop中的MapReduce插件作为开发工具，所述MapReduce对数据的操作包括Map操作和Reduce操作，所述Map操作是对输入的键值对进行指定的操作，生成一组中间键值对，所述Reduce操作对Map操作输出的中间键值对进行规约合并。本发明的方法在基于云计算的数据分析处理中，能够提高数据分析处理的执行效率，特别是在大数据集的情况下效果尤为明显。

主权项

1.一种基于Hadoop的数据分析方法，用于通过基于云计算的数据分析处理系统进行数据分析，其特征在于，包括：所述数据分析处理系统基于Hadoop平台作为计算环境，该数据分析处理系统由数据存储模块、数据分析模块和事务处理模块构成，使用Hadoop中的MapReduce插件作为开发工具，所述MapReduce对数据的操作包括Map操作和Reduce操作，所述Map操作是对输入的键值对进行指定的操作，生成一组中间键值对，所述Reduce操作对Map操作输出的中间键值对进行规约合并；当数据集发生更新时，若数据量大于预定义阈值，则云计算平台采用MapReduce模型，将关联规则的更新在多个分布式节点中执行并行化处理，否则在单节点中执行关联规则的更新；基于云平台的关联规则更新方法设计一个主程序，首先由主程序对新增数据库tdb进行项目集的分析处理，得到tdb中所有的项目集L(tdb)，将原有的项目集L(TDB)与L(tdb)进行对比，查找其公共部分并放入最终的项目集L*中，剩余的项目集L(TDB)与L(tdb)记为CR；然后进行MapReduce操作，算法描述如下：Map操作：并行扫描原始数据库与新增数据库，根据原有的项目集与CR，对数据进行格式化操作形成键值对<Tnum，Lk>，并将所有键值对作为中间数据传递给Reduce操作；Reduce操作：扫描中间结果集，将中间键值对进行升序排序，依次扫描数据库并判断是否满足条件X∈Lk，若条件成立则删除该键值对，否则遍历tdb，计算候选项目集在tdb中的支持数，如果满足条件s(TDB∪tdb)<s×(TDB+tdb)，则删除该项目集；最后对TDB+tdb进行遍历，计算各个项目集的支持数，再判断支持数是否高于用户预设支持数阈值，新数据库中k项目集由原Lk中剩下的项目集Lk-Ldelete和新产生的项目集Lnew共同组成Lk*＝(Lk-Ldelete)∪Lnew。