[发明专利]模型生成方法、特征提取方法、装置及电子设备

说明书

本发明提供了一种模型生成方法、特征提取方法、装置及电子设备，属于计算机技术领域。该方法中，通过预设时间‑空间维度2D卷积神经网络中的特征图生成层对样本视频进行采样，得到T个输入特征图，通过预设时间‑空间维度2D卷积神经网络中的空间特征提取层，提取T个输入特征图的空间维度特征，通过预先嵌入的TCC模块，根据预设的二维卷积核提取T个输入特征图的时间维度特征，基于空间维度特征及时间维度特征，生成特征提取模型。可以进而确保基于该卷积神经网络得到的特征提取模型，能够以较小计算量准确的提取出时间维度特征及空间维度特征，达到兼顾提取的全面性和所需耗费的计算量的目的。

技术领域

本发明涉及计算机技术领域，特别是涉及一种模型生成方法、特征提取方法、装置及电子设备。

背景技术

随着互联网技术的快速发展，视频已成为内容创作和社交媒体平台的重要传播方式之一。视频特征提取作为视频处理中的一个重要环节，提取的特征类别的全面性直接影响着后续视频处理的效果。

现有技术中，通常是使用3D卷积神经网络或2D卷积神经网络进行特征提取。其中，使用3D卷积神经网络提取的方式，能够同时提取到视频的空间维度特征及时间维度特征，但由于3D卷积神经网络本身特性的影响，提取所需的计算量较大。使用2D卷积神经网络提取的方式，所需的计算量较小，但仅能提取到视频的空间维度特征。这些方法均无法做到特征提取的全面性和所需耗费的计算量的均衡。因此，如何兼顾特征提取的全面性和所需耗费的计算量已成为业内亟待解决的技术问题。

发明内容

本发明实施例的目的在于提供一种模型生成方法、特征提取方法、装置及电子设备，以实现解决无法兼顾特征提取的全面性和所需耗费的计算量的技术问题。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种模型生成方法，所述方法包括：

通过预设时间-空间维度2D卷积神经网络中的特征图生成层对样本视频进行采样，得到T个输入特征图；所述T为大于1的整数；

通过所述预设时间-空间维度2D卷积神经网络中的空间特征提取层，提取所述T个输入特征图的空间维度特征，以及，通过时间通道卷积神经网络TCC模块，根据预设的二维卷积核提取所述T个输入特征图的时间维度特征；其中，所述预设时间-空间维度2D卷积神经网络是通过预先在2D卷积神经网络中嵌入至少一个所述TCC模块得到的；

基于所述空间维度特征及所述时间维度特征，生成特征提取模型。

在本发明实施的第二方面，提供了一种特征提取方法，所述方法包括：

将待提取视频作为特征提取模型的输入，通过所述特征提取模型提取所述待提取视频的时间维度特征以及空间维度特征；

其中，所述特征提取模型是根据第一方面中任一所述的方法生成的。

在本发明实施的第三方面，还提供了一种模型生成装置，所述装置包括：

采样模块，用于通过预设时间-空间维度2D卷积神经网络中的特征图生成层对样本视频进行采样，得到T个输入特征图；所述T为大于1的整数；

提取模块，用于通过所述预设时间-空间维度2D卷积神经网络中的空间特征提取层，提取所述T个输入特征图的空间维度特征，以及，通过预先嵌入的TCC模块，根据预设的二维卷积核提取所述T个输入特征图的时间维度特征；其中，所述预设时间-空间维度2D卷积神经网络是通过预先在2D卷积神经网络中嵌入至少一个所述TCC模块得到的；

训练模块，用于基于所述空间维度特征及所述时间维度特征，生成特征提取模型。

在本发明实施的第四方面，还提供了一种特征提取装置，所述装置包括：

提取模块，用于将待提取视频作为特征提取模型的输入，通过所述特征提取模型提取所述待提取视频的时间维度特征以及空间维度特征；