[发明专利]数据关联规则挖掘实现方法与系统

摘要

本发明公开了数据关联规则挖掘实现方法及系统。通过主控节点将数据记录进行分块，将分块数据记录分配并分发给至少两个计算节点。由各计算节点并行查找频繁1-项集；并根据排序后的频繁1-项集，产生子数据项串。由合并节点并行对全部子数据项串进行统计，构建本地FP子树。通过合并FP子树，得到合局FP树，进行数据关联规则挖掘。由于每个计算节点仅处理一部分数据记录，解决了海量数据无法由单机读入内存进行处理的问题；且多个节点并行参与处理，有效提高了处理效率。

主权项

一种数据关联规则挖掘实现方法，其特征在于，包括：主控节点对数据记录进行分块，将分块数据记录分配并分发给至少两个计算节点；每个所述计算节点并行对分配的每条分块数据记录中包含的每个数据项，分别统计本地出现次数，并发送统计出的每个数据项的本地出现次数给第一类合并节点；所述第一类合并节点累计每个所述计算节点发送的每个数据项的本地出现次数，得到每个数据项的总出现次数，并确定出总出现次数大于设定的支持度阈值的对应数据项为频繁1‑项集，并发送频繁1‑项集及对应的总出现次数给每个所述计算节点；每个所述计算节点按总出现次数由大到小的顺序排序各频繁1‑项集，对分配的每条分块数据记录中包含的数据项，按照排序后的各频繁1‑项集的顺序进行排序，并删除每条记录中包含的非频繁1‑项集数据项，得到对应的每条处理后记录；以及每个所述计算节点对每条处理后记录，分别以包含的每个频繁1‑项集为终止数据项，以该条处理后记录包含的首个频繁1‑项集为起始数据项，得到由该条处理后记录生成的全部子数据项串；并分别统计每个子数据项串的本地出现次数，将本地的每个子数据项串及对应的本地出现次数发送给第二类合并节点；所述第二类合并节点累计每个所述计算节点发送的每个子数据项串的本地出现次数，得到每个子数据项串的总出现次数；并根据每个子数据项串及其总出现次数，构建对应的频繁模式FP子树，发送给所述主控节点或第三类合并节点；以及由所述主控节点或所述第三类合并节点合并各FP子树，得到全局FP树，再根据得到的全局FP树挖掘关联规则。