[发明专利]一种电影多标签分类方法、装置、电子设备以及存储介质

权利要求书

1.一种电影多标签分类方法，其特征在于，所述电影多标签分类方法包括：

获取连续的视频帧序列，其中，所述视频帧序列包括若干视频片段；

基于预设的神经网络模型获取所述视频帧序列的视频片段特征；

基于所述视频片段特征计算注意力矩阵；

根据所述注意力矩阵遍历所述视频帧序列，以输出所述视频帧序列的标签类别。

2.根据权利要求1所述的电影多标签分类方法，其特征在于，

所述根据所述注意力矩阵遍历所述视频帧序列，以输出所述视频帧序列的标签类别的步骤，包括：

基于所述注意力矩阵以及所述视频片段特征获取对应的视频特征矩阵；

通过所述注意力矩阵和所述视频特征矩阵组成两层感知机；

根据所述两层感知机将所述视频帧序列所在的空间转换到电影类别空间；

在所述电影类别空间输出所述视频帧序列的标签类别。

3.根据权利要求2所述的电影多标签分类方法，其特征在于，

所述基于所述视频片段特征计算注意力矩阵的步骤，包括：

基于BiLSTM计算所述视频片段特征的前向隐藏状态以及后向隐藏状态；

采用自注意力机制计算所有所述视频片段特征的前向隐藏状态以及后向隐藏状态的注意力矩阵。

4.根据权利要求3所述的电影多标签分类方法，其特征在于，

所述采用自注意力机制计算所有所述视频片段特征的前向隐藏状态以及后向隐藏状态的注意力矩阵的步骤，包括：

计算每一视频片段特征的前向隐藏状态以及后向隐藏状态的隐藏元素；

获取所述BiLSTM的隐层节点数量；

基于所有所述视频片段特征的隐藏元素以及所述隐层节点数量得到所述注意力矩阵。

5.根据权利要求4所述的电影多标签分类方法，其特征在于，

所述基于所述注意力矩阵以及所述视频片段特征获取对应的视频特征矩阵的步骤，包括：

获取所有所述视频片段特征的隐藏元素集合；

采用所述自注意力机制对所述隐藏元素集合进行归一化处理，得到所述注意力矩阵；

通过所述注意力矩阵以及所述隐藏元素集合的乘积得到所述视频特征矩阵。

6.根据权利要求1所述的电影多标签分类方法，其特征在于，

所述输出所述视频帧序列的标签类别的步骤之后，所述分类方法还包括：

获取所述神经网络模型的交叉熵损失函数；

基于所述交叉熵损失函数评价所述标签类别的评分；

其中，所述神经网络模型的输出层为全连接层fc7。

7.根据权利要求1所述的电影多标签分类方法，其特征在于，

所述获取连续的视频帧序列的步骤之后，所述分类方法还包括：

计算所述连续的视频帧序列中相邻帧在每一个灰度级的差值的累加和；

在所述累加和大于预设阈值的情况下，将所述累加和叠加到所述相邻帧中在后一帧视频帧的颜色直方图上；

将叠加处理后的视频帧序列按照时序划分为若干段视频片段，并从每一段所述视频片段内抽取预设帧数视频帧，从而组成新的视频片段序列。

8.一种电影多标签分类装置，其特征在于，所述电影多标签分类装置包括：

获取模块，用于获取连续的视频帧序列；

特征提取模块，用于基于预设的神经网络模型获取所述视频帧序列的视频片段特征；

注意力计算模块，用于基于所述视频片段特征计算注意力矩阵；

标签分类模块，用于根据所述注意力矩阵遍历所述视频帧序列，以输出所述视频帧序列的标签类别。

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的电影多标签分类方法。

10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的电影多标签分类方法。