[发明专利]适应动态调整基分类器权重的集成学习方法及装置有效
申请号: | 201510974685.4 | 申请日: | 2015-12-22 |
公开(公告)号: | CN105574547B | 公开(公告)日: | 2019-03-05 |
发明(设计)人: | 李智星;张亮;王进;王占一 | 申请(专利权)人: | 北京奇虎科技有限公司;重庆邮电大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F16/35 |
代理公司: | 北京天达知识产权代理事务所(普通合伙) 11386 | 代理人: | 马东伟;张春 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 适应 动态 调整 分类 权重 集成 学习方法 装置 | ||
1.一种自适应动态调整基分类器权重的集成学习方法,其特征在于,应用于基于数据流量特征的流量异常检测中,包括:
构建多个基分类器,分别计算流量数据样本的各个属性;
基于多个所述基分类器,对采集到的训练样本进行聚类;
确定各个所述基分类器对聚类后的训练样本的各个簇的适应度;
计算测试样本与聚类后的训练样本各个簇的相似度;
对所述适应度和所述相似度进行整合;当所述适应度以适应度矩阵形式存储 以及所述相似度以相似度向量形式存储时,将所述适应度矩阵和所述相似度向量相乘,最终得到针对每一个所述测试样本的多个基分类器的权重向量,将多个基分类器的权重向量组合为一个适合所述测试样本的强分类器;
所述适应度的确定利用n个所述基分类器对聚类算法生成的k个簇分别进行测试,计算得出基分类器在各个簇上的错误率eij;利用错误率eij进行相应的对数处理,从而得到n个基分类器对k个簇的适应度并以n*k矩阵的形式进行存储,得到适应度矩阵;其中,i表示第i个基分类器,j表示第j个簇类;
所述训练样本和测试样本均为流量数据样本。
2.根据权利要求1所述的一种自适应动态调整基分类器权重的集成学习方法,其特征在于,采用下列任意一种方式构建多个所述基分类器:
通过对相同的所述训练样本选取不同的分类算法训练得到;
调整所述训练样本的权重并利用不同或相同的分类算法训练得到;
调整所述训练样本的特征权重并利用不同或相同的分类算法训练得到。
3.根据权利要求1所述的一种自适应动态调整基分类器权重的集成学习方法,其特征在于,采用下列任意一种方式对所述训练样本进行聚类:
划分聚类、层次聚类、密度聚类、网格聚类。
4.根据权利要求1到3中任意一项所述的一种自适应动态调整基分类器权重的集成学习方法,其特征在于,计算所述测试样本与聚类后的训练样本各个簇的相似度向量的过程进一步包括:
针对某一个测试样本,在动态求出所述测试样本到各个簇质心的距离dj后,得出所述测试样本与各个簇的相似度1/dj,并以k*1向量的形式进行存储,得到相似度向量。
5.一种自适应动态调整基分类器权重的集成学习装置,其特征在于,应用于基于数据流量特征的流量异常检测中,包括:
构建模块,用于构建多个基分类器,分别计算流量数据样本的各个属性;
聚类模块,用于基于多个所述基分类器,对采集到的训练样本进行聚类;
适应度确定模块,用于确定各个所述基分类器对聚类后的训练样本的各个簇的适应度;利用n个所述基分类器对聚类算法生成的k个簇分别进行测试,计算得出基分类器在各个簇上的错误率eij;利用错误率eij进行相应的对数处理,从而得到n个基分类器对k个簇的适应度并以n*k矩阵的形式进行存储,得到适应度矩阵;其中,i表示第i个基分类器,j表示第j个簇类;
相似度计算模块,用于计算测试样本与聚类后的训练样本各个簇的相似度;
组合模块,用于对所述适应度和所述相似度进行整合;当所述适应度以适应度矩阵形式存储以及所述相似度以相似度向量形式存储时,所述组合模块将所述适应度矩阵和所述相似度向量相乘,最终得到针对每一个所述测试样本的多个基分类器的权重向量,将多个基分类器的权重向量组合为一个适合所述测试样本的强分类器;
所述训练样本和测试样本均为流量数据样本。
6.根据权利要求5所述的一种自适应动态调整基分类器权重的集成学习装置,其特征在于,所述构建模块采用下列任意一种方式构建多个所述基分类器:
通过对相同的所述训练样本选取不同的分类算法训练得到;
调整所述训练样本的权重并利用不同或相同的分类算法训练得到;
调整所述训练样本的特征权重并利用不同或相同的分类算法训练得到。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;重庆邮电大学,未经北京奇虎科技有限公司;重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510974685.4/1.html,转载请声明来源钻瓜专利网。