[发明专利]一种面向大规模图数据集的统计显著子图挖掘方法及装置在审
申请号: | 201810075845.5 | 申请日: | 2018-01-26 |
公开(公告)号: | CN108170862A | 公开(公告)日: | 2018-06-15 |
发明(设计)人: | 赵宇海;印莹;杜焱;黄海;王国仁 | 申请(专利权)人: | 东北大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06N3/00 |
代理公司: | 北京易捷胜知识产权代理事务所(普通合伙) 11613 | 代理人: | 韩国胜 |
地址: | 110169 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种面向大规模图数据集的统计显著子图挖掘方法及装置,该方法包括:对图数据集G进行挖掘,在族错误率阈值α下校正所述统计显著性阈值,基于改进的置换检验算法westfall‑younglight获得校正后的显著性阈值δ*,以及达到显著性阈值δ*时挖掘的子图所需满足的最小支持度阈值σ;利用蚁群优化算法,在图数据集G中挖掘所述统计显著性阈值p小于等于显著性阈值δ*的所有子图;挖掘的所有子图的支持度收敛到所述最小支持度阈值σ。上述方法在挖掘显著子图的过程中能够有效减少重复的计算量。 1 | ||
搜索关键词: | 挖掘 图数据 显著性 统计显著性 最小支持度 校正 蚁群优化算法 有效减少 错误率 计算量 支持度 算法 收敛 置换 统计 重复 检验 改进 | ||
步骤A1、给定含有n个图的图事务数据库G以及族错误率α;
步骤A2、利用改进的置换检验算法westfall‑younglight对所述图事务数据库G进行挖掘,在所述族错误率α下对所述统计显著性阈值进行基于置换检验的假设检验校正,获得优化后的显著性阈值δ*,以及达到所述显著性阈值δ*时挖掘的子图所需满足的最小支持度阈值σ;
步骤A3、基于所述显著性阈值δ*和最小支持度阈值σ,利用蚁群优化算法,在所述图事务数据库G中挖掘统计显著性阈值p小于等于所述显著性阈值δ*且支持度收敛到所述最小支持度阈值σ的所有子图Gres。
2.根据权利要求1所述的方法,其特征在于,所述步骤A2包括:A21、基于给定的族错误率α,使图事务数据库G随机生成类标签对应的J个排列;
初始化最小支持度阈值σ为1,初始化校正后的显著性阈值δ*为支持度对应的最小p值下界,初始化待检验子图的支持度范围为∑1≥1,初始化不同类标签排列下的最小p值pmin为1;
A22、对应每一个排列,以深度优先方式,从图事务数据库G的根节点出发从一边开始增长图模式的方式进行挖掘,计算挖掘的每一个子图S在正样本集中的支持度γ,根据待检验子图的支持度范围∑γ=[ul,ur],检查挖掘的子图S是否为待检验子图,如果不是则继续进行挖掘;
其中,支持度γ表示子图S在正样本中的支持度,∑γ表示子图S的支持度取值范围,n表示子图S对应正样本集的数目,ul是0到n之间低于当前显著性阈值δ*的对应支持度的最小值,ur是n到N/2之间低于当前显著性阈值δ*的对应支持度的最大值;
如果子图S的支持度在待检验子图的支持度范围内,则查询精确显著性p值索引表T,如果存在所述子图S的支持度对应的精确显著性p值,则返回精确显著性p值;否则在精确显著性p值索引表T中填加该支持度对应的精确显著性p值,并返回该值;若得到的精确显著性p值小于当前最小精确显著性p值pmin,则将当前最小精确显著性p值更新为新的pmin;
A23、基于获得的更新后的最小精确显著性p值pmin,利用公式一估计当前族错误率,如果族错误率大于给定族错误率α,依次递增最小支持度阈值σ=σ+1,缩小∑γ的范围,减少当前显著性阈值δγ,直到族错误率小于α,得到确定的支持度阈值σ,并且得到了δγ;
公式一:
依据子步骤A22和子步骤A23的方式,直到遍历图事务数据库G中的所有子图;
A24、将获得的所有最小精确显著性p值中α分位数作为校正后的显著性阈值δ*,以及基于获得的显著性阈值δ*,确定最小支持度阈值σ。
3.根据权利要求2所述的方法,其特征在于,所述步骤A3包括:A31、将图事务数据库G中所有的一边子图按照下述公式二对每一个一边子图初始化,得到初始化信息素;
公式二:
supp(G‑)表示所述一边子图在负样本集中的支持度,supp(G+)表示所述一边子图在正样本集中的支持度;
A32、在源节点处释放一定数量的蚁群,对于每一只蚂蚁,基于轮盘赌的方法,利用边信息素向量选择一条边,边上拥有的信息素越多,则这条边被选中的概率越大,接下来,蚂蚁将继续沿着选中的边向下扩展;
A33、对于每一只蚂蚁,列出所有的候选边等待向下挖掘;
候选边的约束条件:
①将候选边加入现有子图以后,新扩展得到的子图支持度大于最小支持度阈值;
②侯选边需要与现有子图相邻接;包括:新加入的边连接了已有子图中两个不相连接的顶点,或者新加入的边引入了新的顶点;
A34、利用轮盘赌方法,根据信息素含量选择恰当的边扩展当前子图;
选择各条边的概率利用下面的公式三进行计算:
公式三:
其中,τe表示边e的信息素含量;ηe表示边e的初始化信息素含量;
A35、计算当前子图的精确显著性p值;如果当前子图的精确显著性p值低于δ*,且当前子图所有子节点的精确显著性p值均大于δ*,则将该子图加入结果中;否则,转向步骤A33,继续进行扩展,直到候选边集合中不存在边;
A36、当蚂蚁无法继续扩展时,更新经过路径的信息素;
利用公式四对信息素进行更新:
公式四:
其中,C为常数,Q为当前子图的显著性阈值;
A37、当所有蚂蚁结束了一次迭代,每条边上的信息素会被释放掉一部分;用公式五模拟信息素释放的过程:
公式五:τe=(1‑ρ)τe;
A38、重复上述步骤A32至步骤A37,直到达到预定的迭代次数,输出结果集,所述结果集中每一子图的统计显著性阈值p小于等于所述显著性阈值δ*且支持度收敛到所述最小支持度阈值σ。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学,未经东北大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810075845.5/,转载请声明来源钻瓜专利网。