[发明专利]时空数据渐进式多维模式提取与异常检测可视分析方法有效
申请号: | 202010501600.1 | 申请日: | 2020-06-04 |
公开(公告)号: | CN111639243B | 公开(公告)日: | 2021-03-09 |
发明(设计)人: | 张慧杰;蔺依铭;吕程;曲德展;徐劭斌 | 申请(专利权)人: | 东北师范大学 |
主分类号: | G06F16/904 | 分类号: | G06F16/904 |
代理公司: | 成都时誉知识产权代理事务所(普通合伙) 51250 | 代理人: | 田高洁 |
地址: | 130000 吉*** | 国省代码: | 吉林;22 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 时空 数据 渐进 多维 模式 提取 异常 检测 可视 分析 方法 | ||
1.时空数据渐进式多维模式提取与异常检测可视分析方法,其特征在于,包括以下步骤:
步骤1:根据城市的热线数据构建一个三阶张量其中T表示时间段数量,I表示行业数量,D表示区域数量,元素X[i,j,k]代表在第i个时间段、第k个区域、第j个行业的热线投诉数量,按照这种数据构建方式,连续多周的数据转化为一个张量时间序列;
步骤2:根据步骤1中的连续多周的数据转化成的张量时间序列,选择第m周的张量作为当前张量xcurrent,即xcurrent=xm,将前p周数据张量加权平均得到同规模的历史张量xhistory,计算公式为:
其中,ωt反映了第t周数据张量的重要程度,具体计算方法如下公式所示:
根据公式计算每周张量的权重ωt,以确保与当前周时间间隔更近的数据张量具有更大的权重,从而增加历史张量和当前张量分解结果的可比较性;
步骤3:将三阶张量利用NCP分解,所述NCP分解是采用CP分解提取多维数据的潜在模式,并对其加上非负约束,得到多个非负rank-one张量,每个rank-one张量代表一个多维模式:
其中ai,bi和ci分别表示其在时间、行业和空间维度上的分布情况,R表示模式数量,通过上述公式得到一个逼近原始张量的“恢复张量”,表示为对相同维度的向量整合得到3个因子矩阵A、B和C,
向量λ∈RR反映模式的重要程度,称为模式的权重向量,符号“ο”表示向量的外积,表示NCP模型;
步骤4:张量计算,对于通过NCP分解得出R个模式近似表示算法的最小化目标函数公式如下所示:
其中,A≥0,B≥0,C≥0;
提取历史模式集合,将历史张量xhistory进行一次NCP分解,分解得到时间因子矩阵A′R、行业因子矩阵区域因子矩阵C′R和历史模式的权重向量λ′R∈RR,因子矩阵的每一列分别代表了一个多维模式在时间、行业和空间上的分布,每一行都是一个R维向量,分别代表了在某一时间、某一行业和某一区域模式发生的可能性,作为对应时间、行业和空间的特征向量;
当R分别为不同数值时,多次运行NCP分解得到三个因子矩阵集合,记为A′set、和C′set,以及模式的权重向量集合λ′set;
步骤5:提取当前模式集合,是历史张量和当前张量的公共因子矩阵,并将其作为对当前张量NCP分解迭代过程的已知参数,最小化目标函数的过程只对时间因子矩阵AR和区域因子矩阵CR迭代更新,直到满足停止条件,如公式所示;
对于每一个R的取值,通过公式的求解,因子矩阵AR和CR能够捕获到当前周的模式在时间和空间维度上的分布;通过多次运行NCP分解,则得到当前周的时间因子矩阵集合Aset和空间矩阵集合Cset;
步骤6:异常检测,将历史时间因子矩阵A′R和空间因子矩阵C′R作为基准,当前时间因子矩阵AR和当前空间因子矩阵CR与基准的差异作为衡量当前周时间和空间异常程度的依据,当前区域因子矩阵CR的一行CR[d,:]表示第d个区域模式的活动水平,当该区域存在异常,它的不同模式的活动水平和历史的模式活动水平C′R[d,:]相比会有明显的差异;
向量SR表示一次的空间异常结果,其中每个区域的异常分数通过计算该区域历史和当前特征向量的欧式距离得出,如公式所示,多次运行得到空间异常检测集合Sset:
步骤7:渐进式划分,根据当前张量进行渐进划分,当前张量和历史张量共享划分结果,从而保证每个分区的历史模式和当前模式的可对比性;
步骤8:可视化当前模式和历史模式的差异,为异常分数的解释提供支撑。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北师范大学,未经东北师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010501600.1/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置