[发明专利]一种用于序列数据的多尺度深度学习识别方法

权利要求书

1.一种用于序列数据的多尺度深度学习识别方法，其特征在于，所述用于序列数据的多尺度深度学习识别方法，包括：

采集序列数据并标注，构成原始序列训练数据集；

从原始序列训练数据集的训练样本中随机截取连续时长为t的数据进行采样，前向传播输入到修改好的深度神经网络模型，经所述深度神经网络模型提取第一特征，将所述第一特征输入到识别器，计算识别器输出与真实标签的第一交叉熵损失；

对时长为t的数据进行随机扩充或缩减，并随机重采样，重采样取得的数据前向传播输入到修改好的深度神经网络模型，经所述深度神经网络模型提取第二特征，将所述第二特征输入到识别器，计算识别器输出与真实标签的第二交叉熵损失；

计算所述第一特征和第二特征的特征差异，并计算所述第一交叉熵损失、第二交叉熵损失和特征差异的加权和损失，根据加权和损失进行反向传播，更新所述深度神经网络模型的网络参数；

在所述深度神经网络模型训练完成后，采用训练好的深度神经网络模型用于序列数据识别。

2.根据权利要求1所述的用于序列数据的多尺度深度学习识别方法，其特征在于，所述序列数据为不同人的语音数据，所述标注包括生气、高兴、害怕、悲伤、惊讶和中性共六种情绪的一种。

3.根据权利要求1所述的用于序列数据的多尺度深度学习识别方法，其特征在于，所述序列数据为不同人不同动作的视频数据，所述标注包括微笑、大笑、咀嚼、交谈、吸烟、吃、喝、侧手翻、拍手、爬、跳、摔倒、翻转、倒立、跳、拉、推、跑、坐、翻跟头、站起来、转身、梳头、抓、打球、骑自行车、拥抱、握手共二十八种行为的一种。

4.根据权利要求1所述的用于序列数据的多尺度深度学习识别方法，其特征在于，所述随机重采样，包括：

对每条训练样本数据，取随机数r，得到长度为原长度r倍的训练样本数据。

5.根据权利要求1所述的用于序列数据的多尺度深度学习识别方法，其特征在于，所述计算所述第一特征和第二特征的特征差异，采用公式如下：

其中，L_diff表示第一特征F₁和第二特征F₂的特征差异，||·||₂是二范数。

6.根据权利要求1所述的用于序列数据的多尺度深度学习识别方法，其特征在于，所述深度神经网络模型采用一维卷积替换所述VGG16网络中的二维卷积，采用自适应池化操作替换所述VGG16网络中最后一个最大池化操作，采用所述VGG16网络最后的softmax层作为识别器。

7.根据权利要求1所述的用于序列数据的多尺度深度学习识别方法，其特征在于，所述深度神经网络模型采用3D Resnet，采用自适应池化操作替换所述3D Resnet第5个res模块后面的最大池化操作，采用所述3D Resnet的最后一层softmax层作为识别器。