[发明专利]数据异常检测方法、装置、计算机设备及存储介质有效
申请号: | 201810813779.7 | 申请日: | 2018-07-23 |
公开(公告)号: | CN109032829B | 公开(公告)日: | 2020-12-08 |
发明(设计)人: | 刘彪;张戎;李剑锋;胡婧茹;汪华;任思宇;刘玉杰;肖世广;林向东 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F11/07 | 分类号: | G06F11/07 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 黄晶晶;李文渊 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 异常 检测 方法 装置 计算机 设备 存储 介质 | ||
1.一种数据异常检测方法,所述方法包括:
获取时间序列;其中,所述时间序列中包括目标数据点和在所述目标数据点之前上报的历史数据点,所述目标数据点和所述历史数据点按照上报的时间先后顺序进行排列;所述目标数据点,是需要进行异常检测的数据点;
通过初级判决方式对所述时间序列进行初级异常识别;
当识别到所述时间序列疑似异常时,则对所述时间序列进行特征提取;提取得到的特征数据包括时域特征数据和频域特征数据中的至少一种;所述时域特征数据,用于反映所述时间序列在时间维度上的特征;
将提取得到的特征数据输入异常检测模型,输出针对所述目标数据点的异常检测结果;所述异常检测模型,是通过将样本时间序列和相应的标记作为样本数据,根据有监督的机器学习算法进行迭代训练得到。
2.根据权利要求1所述的方法,其特征在于,所述初级判决方式包括统计判决算法;所述通过初级判决方式对所述时间序列进行初级异常识别包括:
从所述时间序列中提取所述历史数据点;
通过统计判决算法确定所述历史数据点的均值和标准差;
根据所述均值和标准差,确定满足随机误差的数值区间;
当所述目标数据点位于所述数值区间外时,则识别所述时间序列疑似异常。
3.根据权利要求1所述的方法,其特征在于,所述初级判决方式包括无监督算法;所述通过初级判决方式对所述时间序列进行初级异常识别包括:
提取所述时间序列中的各数据点;
通过无监督算法对提取的各数据点进行分类处理;
根据分类处理得到的分类结果,对所述时间序列进行异常判决处理;所述异常判决处理得到的异常判决结果,用于表示所述时间序列是否疑似异常。
4.根据权利要求3所述的方法,其特征在于,所述无监督算法为多个;所述方法还包括:
获取各无监督算法所对应的异常判决结果;
根据各无监督算法所对应的异常判决结果进行联合检测处理;
当联合检测处理的结果表示所述时间序列异常时,则判定所述时间序列疑似异常。
5.根据权利要求1所述的方法,其特征在于,所述当识别到所述时间序列疑似异常时,则对所述时间序列进行特征提取包括:
当识别到所述时间序列疑似异常时,则
在时域下对所述时间序列提取相应的时域特征数据;和/或,
对所述时间序列进行频域变换,并在频域下对变换后的时间序列提取相应的频域特征数据。
6.根据权利要求1所述的方法,其特征在于,所述在时域下对所述时间序列提取相应的时域特征数据包括:
对所述时间序列进行统计分析,得到统计特征数据;
拟合所述时间序列的趋势分布,得到拟合特征数据;
提取所述时间序列中用于分类的特征数据,得到分类特征数据。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本时间序列和相应的标记;其中,正样本时间序列的标记为正常标记,负样本时间序列的标记为异常标记;
提取所述样本时间序列中的样本特征数据;
根据所述样本特征数据和相应标记,迭代地确定针对初始机器学习模型的更新的模型参数;
按更新的模型参数调整初始机器学习模型的模型参数,直至满足迭代停止条件时,得到异常检测模型。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在每次迭代确定出更新的模型参数后,确定第一实验模型和第二实验模型;所述第一实验模型的模型参数为当次迭代更新前初始机器学习模型的模型参数,第二实验模型的模型参数为经过当次迭代所确定更新的模型参数;
将相同实验数据分别输入所述第一实验模型和第二实验模型中,输出所述第一实验模型的第一实验结果和所述第二实验模型的第二实验结果;
当第二实验结果相较于第一实验结果达到预设优化条件时,则执行所述按更新的模型参数调整初始机器学习模型的模型参数的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810813779.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置