[发明专利]基于深度残差长短时记忆网络的视频事件识别方法

权利要求书

1.一种基于深度残差长短时记忆网络的视频事件识别方法，其特征在于，包括：

1)时空特征数据联接单元设计

时空特征数据经LSTM同步解析后形成时空特征数据联接单元DLSTM；

2)DU-DLSTM双单向结构设计

每个DLSTM单元包含了来自时间CNN网络(Convolutional Neural Network)和空间CNN网络的输入，两个单向传递的DLSTM联接后构成DU-DLSTM单元；

3)RDU-DLSTM残差模块设计

多个DU-DLSTM层再加一个恒等映射形成残差模块；

4)2C-softmax目标函数设计

双中心Loss分别维护空间特征中心和时间特征中心，空间特征中心和时间特征中心按一定权重系数融合形成质心，给softmax的Loss加入双中心Loss以及DLSTM单元的正则项，构成2C-softmax目标函数。

2.根据权利要求1所述的一种基于深度残差长短时记忆网络的视频事件识别方法，其特征在于，所述步骤1)时空特征数据联接单元设计包括：

(1)接收数据

SLSTM(Spatial LSTM)接收来自空间CNN网络的特征h_SL，TLSTM(Temporal LSTM)接收来自时间CNN网络的特征h_TL；

(2)激活函数转换

SLSTM和TLSTM经ReLU激活函数d转换，分别得到：d(W_Sh_SL+b_S)和d(W_Th_TL+b_T)，其中W_S和W_T表示权重，b_S和b_T表示偏置项；

(3)特征联接

激活函数转换后的SLSTM和TLSTM再经联接操作c形成一个新的单元DLSTM，描述为：h_DL＝c(d(W_Sh_SL+b_S),d(W_Th_TL+b_T))。

3.根据权利要求2所述的一种基于深度残差长短时记忆网络的视频事件识别方法，其特征在于，所述步骤2)DU-DLSTM双单向结构设计包括：

(1)特征同向传递

每个DLSTM单元包含了来自时间CNN网络和空间CNN网络的输入，h_DL1和h_DL2表示两个相同传递方向DLSTM单元的输入；

(2)特征联接

两个单向传递的DLSTM联接后构成DU-DLSTM单元，h_DU为DU-DLSTM的输出，描述为：h_DU＝c(d(W₁h_DL1+b₁),d(W₂h_DL2+b₂))。

4.根据权利要求1或2或3所述的一种基于深度残差长短时记忆网络的视频事件识别方法，其特征在于，所述步骤3)RDU-DLSTM残差模块设计包括：

(1)网络输出

将DU-DLSTM结构作为一个网络层，第一个DU-DLSTM结构的输出h_DU作为x；

(2)残差连接

快捷连接对h_DU做一个线性变换W_i，RDU-DLSTM残差模块的输出为：h＝F(h_DU,{W_i})+h_DU。

5.根据权利要求1或2或3所述的一种基于深度残差长短时记忆网络的视频事件识别方法，其特征在于，所述步骤4)2C-softmax目标函数设计包括：

(1)为了防止过拟合，给softmax的Loss项L_J加上DLSTM单元权重的二范数作为正则项，表示为：其中D表示DLSTM单元的个数，a为正则项系数；

(2)设计一个双中心Loss，双中心Loss分别维护空间特征中心C_S和时间特征中心C_T，其中

(3)目标函数L加入双中心Loss形成新的目标函数并称之为2C-softmax，C_S和C_T按一定权重系数b融合形成质心，2C-softmax描述为：