[发明专利]一种基于距离矩阵的时间序列数据补全方法

说明书

本发明公开了一种基于距离矩阵的时间序列数据补全方法，其挖掘并利用时间序列数据内在的高阶时间关联关系，以时间序列数据中相似的数据点来补全缺失数据；该方法具体包括：针对时间序列数据，基于某种距离度量函数建模出该时间序列的距离矩阵D，其中位于第i行，第j列的矩阵元素Dij为时间序列中第i个数据点和第j个数据点间的距离；基于得到的距离矩阵D，在原始时间序列中寻找与带缺失分段距离最近的k个分段；利用计算得到的k个近邻分段，补全带缺失分段数据。本方法在真实的时间序列数据缺失场景中，能取得了较好补全效果，同时本方法的可解释性较强，背后的物理含义较为清晰，因此能在本方法的基础上进行较多扩展，从而有效运用于各类真实场景中。

技术领域

本发明属于计算机应用领域，特别是对在时间序列数据采集与传输中因设备性能限制、网络传输错误、用户隐私保护等原因造成的数据缺失进行的一种高效数据补全方法，具体地说一种基于距离矩阵的时间序列数据补全方法。

背景技术

时间序列数据是按时间顺序进行观测得到的观测数据集合，其性质主要包括数据量大、高维并且需要不断更新。时间序列数据在很多不同种类的应用中都广泛出现，例如：行为捕捉、传感器网络、天气预测、金融市场建模等等。分析时间序列的主要目的是识别数据背后的隐含模式，以此来预测未来趋势。现存许多用来建模时间序列变化的数学工具，例如：线性回归、自回归等等，但这些模型是建立在数据完整的基础上的。

然而，在真实应用场景中，各种各样的数据缺失不可避免，就利用智能手机实现对用户活动进行持续记录的场景而言，数据缺失问题表现为针对某一时段，缺乏与用户活动相对应的有效数据。导致数据缺失的原因主要有两点：1)用户在使用记录程序过程中，出于隐私保护、电量消耗、所处环境等现实情况，关闭手机或暂停记录程序而导致的数据缺失；2)由于手机不佩戴在用户身上，使得感知数据与用户真实活动不对应而导致的数据失效。显然，在这种场景下，数据缺失情况是无法避免的，现存数学工具的使用受到限制，因此在存在缺失数据的情况下建模时间序列依旧是一个难题。

在缺失数据补全方面，现存一些相关方法：1)插值法：基于单个序列中数据的连续性，使用线性插值或样条插值的方法直接进行补全。这种方法的优点在于简单高效，缺点在于其忽略了多维数据间的关联，在数据缺失大量且连续的情况下效果不佳；2)非负矩阵分解法：在拥有多条同模态时间序列的前提下，假设每一条序列都可以表现为一组基向量的线性组合，利用非负矩阵分解法通过已知数据寻找基向量和对应每一条序列的组合系数，以基向量乘系数的方式恢复完整的时间序列。这种方法的优点在于充分考虑了多条信息，缺点在于可解释性差，对于多种内在物理规律无法显示建模；3)基于隐式马尔科夫模型补全：假设时间序列为观测值的序列，其背后隐藏着一个真实状态的序列，用真实状态序列来建模内在物理规律，并通过状态到观测的映射来表达状态到时间序列中数值的产生关系，通过解码缺失部分对应的隐藏状态序列，来补全缺失数据。优点在于可以显示建模包括时间平滑性在内的物理规律，缺点在于对于更复杂的空间关联关系适应度不够。综上，现有相关方法对于时间序列数据本身的性质考虑不全，对于时间特性的讨论仅限于时间平滑性。

发明内容

本发明所要解决的技术问题是针对上述现有技术现状，而提供可解释性强，背后物理含义清晰，在真实的时间序列数据缺失场景中能取得了较好补全效果，并能有效应用于各类真实场景中的一种基于距离矩阵的时间序列数据补全方法。

为实现上述技术目的，本发明采取的技术方案为：

一种基于距离矩阵的时间序列数据补全方法，该方法为挖掘并利用时间序列数据内在的高阶时间关联关系，以时间序列数据中相似的数据点来补全缺失数据；该方法具体包括以下步骤：

1)针对时间序列数据，基于某种距离度量函数建模出该时间序列的距离矩阵D，其中位于第i行，第j列的矩阵元素D_ij为时间序列中第i个数据点和第j 个数据点间的距离；

2)基于步骤1)中得到的距离矩阵D，在原始时间序列中寻找与带缺失分段距离最近的k个分段；