[发明专利]异常数据的检测方法、系统及存储介质在审
申请号: | 201711458897.2 | 申请日: | 2017-12-28 |
公开(公告)号: | CN109976930A | 公开(公告)日: | 2019-07-05 |
发明(设计)人: | 卢欣 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F11/07 | 分类号: | G06F11/07 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 刘映东 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 待检测数据 检测节点 检测 异常数据 孤立 存储介质 森林 分发 互联网技术 数据存储量 检测结果 节点获取 模型检测 预先建立 时长 子集 并行 存储 集合 | ||
1.一种异常数据的检测方法,其特征在于,所述方法应用于分布式检测系统中,所述分布式检测系统包括至少两个检测节点,所述方法包括:
所述检测节点获取预先建立的孤立森林模型;
所述检测节点获取待检测数据子集,所述待检测数据子集为待检测数据集合的一个子集,所述待检测数据子集包括至少两个待检测数据;
所述检测节点计算每个待检测数据在所述孤立森林模型中的平均路径长度;
所述检测节点根据每个待检测数据在所述孤立森林模型中的平均路径长度,计算每个待检测数据的检测分数;
所述检测节点根据每个待检测数据的检测分数,确定对每个待检测数据的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述孤立森林模型包括多棵孤立树,每棵孤立树包括至少两个节点,所述至少两个节点用于构成孤立树的树形结构;
所述检测节点计算每个待检测数据在所述孤立森林模型中的平均路径长度,包括:
对于任一待检测数据,所述检测节点以每棵孤立树的根节点为起点,控制所述待检测数据沿着每棵孤立树的树形结构进行遍历;
所述检测节点根据所述待检测数据在每棵孤立树中所遍历的节点,计算所述待检测数据在每棵孤立树中的路径长度;
所述检测节点计算所述待检测数据在所有孤立树中的路径长度的平均值,并将所述路径长度的平均值作为所述待检测数据在所述孤立森林模型中的平均路径长度。
3.根据权利要求2所述的方法,其特征在于,每个节点存储有节点属性信息,所述节点属性信息包括节点标识、节点类型、节点特征、节点特征值、父节点标识及子节点标识;
所述检测节点以每棵孤立树的根节点为起点,控制所述待检测数据沿着每棵孤立树的树形结构进行遍历,包括:
所述检测节点根据每个节点的节点标识、节点类型、父节点标识、子节点标识,构建每棵孤立树的树形结构,并以每棵孤立树的根节点为起点,根据每个节点的节点特征和节点特征值,控制所述待检测数据沿着每棵孤立树的树形结构进行遍历,直至遍历到每棵孤立树的叶子节点。
4.根据权利要求2所述的方法,其特征在于,所述检测节点根据所述待检测数据在每棵孤立树中所遍历的节点,计算所述待检测数据在每棵孤立树中的路径长度,包括:
对于任一棵孤立树,如果所述待检测数据在所述孤立树中所遍历的叶子节点为第一类叶子节点,所述检测节点按照遍历顺序连接所遍历节点,并将由所遍历节点构成的边的条数,作为所述待检测数据在所述孤立树中的路径长度;
如果所述待检测数据在所述孤立树中所遍历的叶子节点为第二类叶子节点,所述检测节点计算所述待检测数据在所述孤立树中的节点调整值,并将由所遍历节点构成的边的条数与所述节点调整值之和,作为所述待检测数据在所述孤立树中的路径长度;
其中,所述第一类叶子节点是指包括一个待检测数据或至少两个相同待检测数据的节点,所述第二类叶子节点是指能够限制所述孤立树的高度的节点。
5.根据权利要求1所述的方法,其特征在于,所述检测节点根据每个待检测数据的检测分数,确定对每个待检测数据的检测结果,包括:
对于任一待检测数据,如果所述待检测数据的检测分数为第一分数,所述检测节点确定所述待检测数据为异常数据;
如果所述待检测样本数据的检测分数小于第二分数,所述检测节点确定所述待检测数据为正常数据;
其中,所述第一分数大于所述第二分数。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述分布式检测系统还包括建模节点,所述方法还包括:
所述建模节点获取建模数据集合;
所述建模节点将所述建模数据集合划分为至少两个建模数据子集,每个建模数据子集包括至少两个建模数据;
所述建模节点基于至少两个建模数据子集,建立至少两棵孤立树;
所述建模节点将所述至少两棵孤立树组成所述孤立森林模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711458897.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据生产过程的故障定位方法、装置
- 下一篇:一种软件系统修复处理方法