[发明专利]基于Spark的并行化关联挖掘优化方法在审
| 申请号： | 201710413035.1 | 申请日： | 2017-06-05 |
| 公开（公告）号： | CN107291848A | 公开（公告）日： | 2017-10-24 |
| 发明（设计）人： | 肖甫;许平;沙乐天;王少辉;韩崇;王汝传 | 申请（专利权）人： | 南京邮电大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 南京知识律师事务所32207 | 代理人： | 张芳 |
| 地址： | 210023 江苏省*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于Spark的并行化关联挖掘优化方法，先对事务数据库进行预处理，根据业务需求进行数据清洗，提取简要有效信息，将事务项数据编码化后，全部读取到内存，转换成RDD模型；在生成频繁1项集的过程中，构造新的数据结构存放1项集的事务序列号；在频繁项集连接、剪枝生成候选集的过程中，舍去候选项集的产生过程，筛选出连接后事务序列号数满足最小支持度的项集；重复以上过程，直到没有满足要求的更大的项集产生。本发明克服了Apriori算法的不足，提高了挖掘效率。 | ||
| 搜索关键词： | 基于 spark 并行 关联 挖掘 优化 方法 | ||
【主权项】：
基于Spark的并行化关联挖掘优化方法，其特征在于：先对事务数据库进行预处理，根据业务需求进行数据清洗，提取简要有效信息，将事务项数据编码化后，全部读取到内存，转换成RDD模型；在生成频繁1项集的过程中，构造新的数据结构存放1项集的事务序列号；在频繁项集连接、剪枝生成候选集的过程中，舍去候选项集的产生过程，筛选出连接后事务序列号数满足最小支持度的项集，所述的支持度Ssupport(A)＝P(A)/N为项集在整个数据集中所占的比例；重复以上过程，直到没有满足最小支持度条件的更大的项集产生。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京邮电大学，未经南京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710413035.1/，转载请声明来源钻瓜专利网。
