[发明专利]一种基于自动编码机的分布式离群点检测方法及系统在审
| 申请号： | 201410225026.6 | 申请日： | 2014-05-26 |
| 公开（公告）号： | CN104008420A | 公开（公告）日： | 2014-08-27 |
| 发明（设计）人： | 马云龙;张鹏;曹亚男;翟立东;杜跃进 | 申请（专利权）人： | 中国科学院信息工程研究所 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 北京轻创知识产权代理有限公司 11212 | 代理人： | 杨立 |
| 地址： | 100093 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于自动编码机的分布式离群点检测方法及系统，包括定义训练数据集和测试数据集；将训练集的训练数据随机分配给若干个计算单元；所有计算单元并行执行，每个计算单元求解编码与解码参数；汇总每个计算单元的编码与解码参数得到最终编码与解码参数，构建一个自复制模型；将自复制模型应用到测试数据集上，并行计算每条测试数据的重建误差；按照重建误差降序排列测试数据，重建误差大于预定阈值的测试数据为离群点；本发明所述方法处理需要的总时间与处理的样本个数之间是独立的，仅仅取决于参数求解需要达到的精度；本发明非常适合基于MapReduce框架来处理大规模数据集上的离群点检测，具有良好的伸缩性与扩展性。 | ||
| 搜索关键词： | 一种 基于 自动 编码 分布式 离群 检测 方法 系统 | ||
【主权项】：
一种基于自动编码机的分布式离群点检测方法，其特征在于，包括如下步骤：步骤1：定义训练数据集和测试数据集；步骤2：将训练集的训练数据随机分配给若干个计算单元；步骤3：所有计算单元并行执行，在每个计算单元内使用随机梯度下降算法求解编码与解码参数；步骤4：汇总每个计算单元的编码与解码参数得到最终编码与解码参数，构建一个自复制模型；步骤5：将自复制模型应用到测试数据集上，并行计算每条测试数据的重建误差，输出以重建误差为key的键值对；步骤6：按照重建误差降序排列测试数据，重建误差大于预定阈值的测试数据为离群点。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所，未经中国科学院信息工程研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410225026.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种尿道清药剂及其制备方法
- 下一篇：一种治疗高尿酸血症的中药组合物及其应用
