[发明专利]一种用于序列数据的多尺度深度学习识别方法

说明书

本发明公开了一种用于序列数据的多尺度深度学习识别方法，采集序列数据并标注，构成原始序列训练数据集，对修改好的深度神经网络模型进行训练，从原始序列训练数据集的训练样本中随机截取时长为t的数据采样，前向传播输入到深度神经网络模型，同时对时长为t的数据中进行扩充或缩减和重采样模拟时间多尺度，采样取得的数据前向传播输入到深度神经网络模型，综合两个网络的分类损失和特征损失反向传播训练神经网络模型。本发明在训练过程中对训练数据进行一定范围内的随机重采样来模拟多尺度现象，具有更高的识别准确度。训练时两个分支网络的参数共享，有效提高了训练效率；在识别过程中仅需采用一个分支网络，具有高效性。

技术领域

本申请属于模式识别技术领域，特别是涉及一种用于序列数据的多尺度深度学习识别方法。

背景技术

面向序列数据(如音频、视频)的模式识别任务中，由于目标的语速、动作速度不同，导致相同的内容跨越的时间跨度不同，即时间多尺度问题，给识别带来了极大难度。

目前，一种常用的方法是对数据序列进行重采样、拉伸或缩放以得到多尺度的数据，然后用多分支网络将不同尺度的数据段进行分别处理，将不同尺度的特征拼接进行识别，以此来减少时间尺度对识别算法的影响。这种方法在一定程度上缓解了尺度对识别算法的影响，但是这种枚举时间尺度的方法会造成时间尺度的整体偏移问题，同时多分支结构参数量线性增加会带来训练难度的增加和识别效率的降低。

发明内容

本申请的目的是提供一种用于序列数据的多尺度深度学习识别方法，解决序列数据多尺度识别准确率和效率不高的问题，在训练过程中用双分支网络将多尺度思维融入到网络参数中，两个分支网络的参数共享，在识别过程中采用一个分支网络，实现序列数据的准确识别。

为了实现上述目的，本申请技术方案如下：

一种用于序列数据的多尺度深度学习识别方法，包括：

采集序列数据并标注，构成原始序列训练数据集；

从原始序列训练数据集的训练样本中随机截取连续时长为t的数据进行采样，前向传播输入到修改好的深度神经网络模型，所述深度神经网络模型提取第一特征，将所述第一特征输入到识别器，计算识别器输出与真实标签的第一交叉熵损失；

对时长为t的数据进行随机扩充或缩减，并随机重采样，重采样取得的数据前向传播输入到修改好的深度神经网络模型，所述深度神经网络模型提取第二特征，将所述第二特征输入到识别器，计算识别器输出与真实标签的第二交叉熵损失；

计算所述第一特征和第二特征的特征差异，并计算所述第一交叉熵损失、第二交叉熵损失和特征差异的加权和损失，根据加权和损失进行反向传播，更新所述深度神经网络模型的网络参数；

在所述深度神经网络模型训练完成后，采用训练好的深度神经网络模型用于序列数据识别。

可选的，所述序列数据为不同人的语音数据，所述标注包括生气、高兴、害怕、悲伤、惊讶和中性共六种情绪的一种。

可选的，所述序列数据为不同人不同动作的视频数据，所述标注包括微笑、大笑、咀嚼、交谈、吸烟、吃、喝、侧手翻、拍手、爬、跳、摔倒、翻转、倒立、跳、拉、推、跑、坐、翻跟头、站起来、转身、梳头、抓、打球、骑自行车、拥抱、握手共二十八种行为的一种。

进一步的，所述随机重采样，包括：

对每条训练样本数据，取随机数r，得到长度为原长度r倍的训练样本数据。

进一步的，所述计算所述第一特征和第二特征的特征差异，采用公式如下：

其中，L_diff表示第一特征F₁和第二特征F₂的特征差异，||·||₂是二范数。