[发明专利]一种基于改进IForest的工业数据去噪方法在审
申请号: | 201811439128.2 | 申请日: | 2018-11-29 |
公开(公告)号: | CN109543765A | 公开(公告)日: | 2019-03-29 |
发明(设计)人: | 孙杰;李鹏飞;丁有伟;陈智也;沈祥红 | 申请(专利权)人: | 江苏海平面数据科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 南京品智知识产权代理事务所(普通合伙) 32310 | 代理人: | 奚晓宁;杨陈庆 |
地址: | 210019 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明一种基于改进IForest的工业数据去噪方法涉及基于深度学习的工业数据去噪方法,属于大数据处理和机器学习等应用领域。包括如下步骤:1)构建初始孤立森林IForest;2)在线异常检测;3)判断是否需要更新检测器。相比传统的IForset异常点检测方法,本发明具有如下优点:一是基于全局的孤立森林提出了异常点检测时使用到的阈值设定方法,不再使用单一数值型的阈值;二是采用了缓冲技术来存放采样数据,以定时更新孤立森林,提高训练模型的准确性。三是固定时间对缓冲区的训练数据进行更新,以便淘汰过于陈旧的数据,存放新数据,以提高对即将到来数据的异常检测效果。 | ||
搜索关键词: | 工业数据 去噪 异常点检测 异常检测 孤立 森林 检测器 存放采样数据 缓冲区 定时更新 缓冲技术 机器学习 训练模型 训练数据 阈值设定 数据处理 传统的 新数据 更新 构建 改进 淘汰 全局 学习 | ||
【主权项】:
1.一种基于改进IForest的工业数据去噪方法,其特征在于,包括如下步骤:1)构建初始孤立森林IForest;1‑1)构建树iTree;1‑2)将所有的树iTree组合起来形成了初始的孤立森林IForest;该孤立森林作为初始的异常检测器;2)在线异常检测;对每个到达的数据,将其对应的不同种类的数据放入步骤1)中已经建好的孤立森林中,判断异常状况,如果根据输入数据平均深度得到的异常得分高于预先设定的阈值,说明该到达数据没有达到普遍水平,是异常数据;3)判断是否需要更新检测器;根据用户预先定义的应用规模进行计算,如果存放样本的缓冲区已满,则对检测器进行更新。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏海平面数据科技有限公司,未经江苏海平面数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811439128.2/,转载请声明来源钻瓜专利网。