[发明专利]模型生成方法、特征提取方法、装置及电子设备

权利要求书

1.一种模型生成方法，其特征在于，所述方法包括：

通过预设时间-空间维度2D卷积神经网络中的特征图生成层对样本视频进行采样，得到T个输入特征图；所述T为大于1的整数；

通过所述预设时间-空间维度2D卷积神经网络中的空间特征提取层，提取所述T个输入特征图的空间维度特征，以及，通过时间通道卷积神经网络TCC模块，根据预设的二维卷积核提取所述T个输入特征图的时间维度特征；其中，所述预设时间-空间维度2D卷积神经网络是通过预先在2D卷积神经网络中嵌入至少一个所述TCC模块得到的；

基于所述空间维度特征及所述时间维度特征，生成特征提取模型。

2.根据权利要求1所述的方法，其特征在于，所述通过预先嵌入的时间通道卷积神经网络TCC模块，根据预设的二维卷积核提取所述T个输入特征图的时间维度特征，包括：

基于所述输入特征图的时间顺序，根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作，以确定所述时间维度特征；所述输入特征图是所述TCC模块之前的层对所述样本视频中的样本视频帧进行处理得到的。

3.根据权利要求2所述的方法，其特征在于，所述基于所述输入特征图的时间顺序，根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作，包括：

对于任一所述输入特征图，按照时间维度的索引、通道维度的索引，利用所述预设的二维卷积核在各个所述索引指示的时间及通道维度下遍历所述输入特征图，以进行所述卷积操作。

4.根据权利要求2或3所述的方法，其特征在于，在所述基于所述输入特征图的时间顺序，根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作之前，所述方法还包括：将所述输入特征图的通道数量调整为P；所述P＜Q，所述Q是所述输入特征图的原始通道数量；

在所述基于所述输入特征图的时间顺序，根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作之后，所述方法还包括：将进行卷积之后的输入特征图的通道数量恢复为Q，得到所述时间维度特征。

5.根据权利要求4所述的方法，其特征在于，所述预设时间-空间维度2D卷积神经网络中包括卷积层；所述TCC模块与所述卷积层连接；所述TCC模块包括时间通道卷积层、数量调整层及数量恢复层；

所述时间通道卷积层用于实现所述根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作的操作，所述数量调整层用于实现所述将所述输入特征图的通道数量调整为P的操作，所述数量恢复层用于实现所述将所述输入特征图的通道数量恢复为Q的操作；

所述数量调整层、所述时间通道卷积层及所述数量恢复层均连接有批量归一化BN层和修正线性单元Relu层；所述BN层用于对所述数量调整层、所述时间通道卷积层或所述数量恢复层的输出进行归一化操作，所述Relu层用于对所述BN层的输出进行修正线性操作。

6.一种特征提取方法，其特征在于，所述方法包括：

将待提取视频作为特征提取模型的输入，通过所述特征提取模型提取所述待提取视频的时间维度特征以及空间维度特征；

其中，所述特征提取模型是根据权利要求1至5中任一所述的方法生成的。

7.一种模型生成装置，其特征在于，所述装置包括：

采样模块，用于通过预设时间-空间维度2D卷积神经网络中的特征图生成层对样本视频进行采样，得到T个输入特征图；所述T为大于1的整数；

提取模块，用于通过所述预设时间-空间维度2D卷积神经网络中的空间特征提取层，提取所述T个输入特征图的空间维度特征，以及，通过预先嵌入的TCC模块，根据预设的二维卷积核提取所述T个输入特征图的时间维度特征；其中，所述预设时间-空间维度2D卷积神经网络是通过预先在2D卷积神经网络中嵌入至少一个所述TCC模块得到的；

训练模块，用于基于所述空间维度特征及所述时间维度特征，生成特征提取模型。