[发明专利]一种基于注意力机制的BiLSTM-FCN多维时间序列分类方法

说明书

本发明公开了一种基于注意力机制的BiLSTM‑FCN多维时间序列分类方法，包括以下步骤：获取多维时间序列数据集；构造基于注意力机制的BiLSTM‑FCN多维时间序列分类网络模型；通过训练好的基于注意力机制的BiLSTM‑FCN多维时间序列分类网络模型对待测的多维时间序列数据进行分类。通过上述方法，本发明相较于已有的多维时间序列分类模型准确率更高，并且在多个领域的时间序列分类任务上具有普适性。

技术领域

本发明涉及时间序列的数据挖掘技术领域，具体涉及一种基于注意力机制的BiLSTM-FCN多维时间序列分类方法。

背景技术

多维时间序列数据它是按照所观测的客观对象的某些物理量在时间维度上的采样值排列组成的数据序列，它如实记录了所观测对象在各个测量时间点上的状态值，是所观测对象真实运行状态的客观反映。在现实生活中很多领域都存在多维时间序列数据，对各个领域的数据进行针对性的研究，能对数据背后的信息进行深入的挖掘，从而用数据来指导各个领域的发展情况。

目前针对时间序列分类主要采用基于距离的方法、基于特征的方法、基于集成学习的方法。在基于距离的方法中，主要是通过定义距离函数来计算两个时间序列间的相似性，然后根据每条时间序列实例与训练数据中距离最近的实例来区分所属的类，最后将该序列实例分类到相对应的类中。基于特征的分类方法一般包括两个步骤：首先是设计特征表示方法将序列转换成一种特征向量，然后训练基于序列特征的分类器对序列进行分类。基于集成学习(Ensemble Learning)的方法是将不同的分类器组合成一个新的分类器，将神经网络作为集成学习的基分类器可以提高网络的泛化能力与分类的效果。以上的各种方法都需要对数据进行复杂的预处理，或者进行复杂且繁重的特征工程，特别是基于特征的方法。

近年来，随着深度学习的发展，深度学习在时间序列分类上做出了突出的贡献。由于多维时间序列数据是按照采样时刻的先后顺序依次排列，前后数据之间存在着较强的时间依赖关系，而且多维时间序列数据还表现出变量之间的相关性。数据矩阵前一行数据对应前一个时刻的采样值，后一行数据对应后一个时刻的采样值，交换某两行数据会导致当前序列所含信息发生变化；每个序列含有多个时间变量，每个变量表示序列的一个维度，多个维度组合成一个整体，增加或删除变量将会变成一个完全不同的序列；不同维度之间可能存在某种未知的线性或非线性相关性，不同类型的序列，其维度之间的相关关系可能不同，因此，这种相关关系亦是序列含有的重要信息。基于此提出了一种基于注意力机制的BiLSTM-FCN多维时间序列分类模型是将双向长短期记忆网络(Bi-directional LongShort-Term Memory，Bi-LSTM)与全卷积神经网络(FCN)进行组合对多维时间序列分别进行时间序列特征的提取，最终用来对多维时间序列分类。

发明内容

本发明是为了解决现有技术中的上述缺陷，提供了一种基于注意力机制的BiLSTM-FCN多维时间序列分类方法，利用全卷积网络(FCN)和双向长短期记忆网络(Bi-LSTM)结合注意力机制，提出了一种多维时间序列分类模型，以达到提高多维时间序列数据分类准确率的目的。

实现本发明的技术方案是：一种基于注意力机制的BiLSTM-FCN多维时间序列分类方法，包括以下步骤：

(1)对公开数据库UCI中的Robot Execution Failures数据集、EEG数据集和AReM数据集中的样本的每个变量进行归一化以及通过尾部填充标记值的方法进行长度一致化，然后将数据集定义成形状张量(N，Q，M)，其中N是数据集中的样本数，Q是所有变量中的最大时间步数，M是每个时间步处理的变量数，每个时间步有M个不同的变量；

(2)将由三个时间卷积块构成的全卷积网络(FCN)和双向长短期记忆网络(Bi-LSTM)进行并联组合；

(3)在FCN模块中的第一和第二个时间卷积块后分别添加SE模块，在Bi-LSTM层后添加了自注意力机制用来达到提高特征提取的能力；