[发明专利]视频处理方法、装置、计算机可读介质及电子设备

说明书

本发明的实施例提供了一种视频处理方法、装置、计算机可读介质及电子设备。该视频处理方法包括：分别提取第一视频的特征和第二视频的特征，得到所述第一视频的第一特征向量和所述第二视频的第二特征向量；基于注意力机制对所述第一特征向量进行处理，得到第三特征向量；基于所述第二特征向量和所述第三特征向量进行双线性匹配，以得到匹配结果；根据所述匹配结果在所述第二视频中定位所述第一视频。本发明实施例的技术方案在视频检索时能够精确定位到视频中的相关片段，并且能够提高视频检索效率，降低了视频检索的难度及视频检索所花费的时间。

技术领域

本发明涉及计算机及通信技术领域，具体而言，涉及一种视频处理方法、装置、计算机可读介质及电子设备。

背景技术

视频检索是从一个视频集合中找出与给定的视频内容相关的视频，目前的检索方案通常只能返回查找到的整个视频，之后还需要人工观看视频来确定其中的相关片段，检索效率较低，同时相关技术中的视频检索方案还存在准确性较差的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的实施例提供了一种视频处理方法、装置、计算机可读介质及电子设备，进而至少在一定程度上克服视频检索效率较低的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的一个方面，提供了一种视频处理方法，包括：分别提取第一视频的特征和第二视频的特征，得到所述第一视频的第一特征向量和所述第二视频的第二特征向量；基于注意力机制对所述第一特征向量进行处理，得到第三特征向量；基于所述第二特征向量和所述第三特征向量进行双线性匹配，以得到匹配结果；根据所述匹配结果在所述第二视频中定位所述第一视频。

根据本发明实施例的一个方面，提供了一种视频处理装置，包括：提取单元，用于分别提取第一视频的特征和第二视频的特征，得到所述第一视频的第一特征向量和所述第二视频的第二特征向量；第一处理单元，用于基于注意力机制对所述第一特征向量进行处理，得到第三特征向量；匹配单元，用于基于所述第二特征向量和所述第三特征向量进行双线性匹配，以得到匹配结果；第二处理单元，用于根据所述匹配结果在所述第二视频中定位所述第一视频。

在本发明的一些实施例中，基于前述方案，所述提取单元配置为：基于三维卷积神经网络分别提取所述第一视频的特征和所述第二视频的特征。

在本发明的一些实施例中，基于前述方案，所述提取单元还用于：在基于所述三维卷积神经网络分别提取所述第一视频的特征和所述第二视频的特征之后，对提取到的所述第一视频的特征和所述第二视频的特征进行降维处理，以得到所述第一特征向量和所述第二特征向量。

在本发明的一些实施例中，基于前述方案，所述第一处理单元包括：第一计算单元，用于计算各个所述第一特征向量与各个所述第二特征向量之间的相关性；确定单元，用于基于各个所述第一特征向量与各个所述第二特征向量之间的相关性，确定各个所述第一特征向量对应的权重因子；第二计算单元，用于根据各个所述第一特征向量和各个所述第一特征向量对应的权重因子，计算所述第三特征向量。

在本发明的一些实施例中，基于前述方案，所述第一计算单元用于通过以下公式计算各个所述第一特征向量与各个所述第二特征向量之间的相关性：

其中，e_i,j表示第i个第二特征向量与第j个第一特征向量之间的相关性；表示第j个第一特征向量；表示第i个第二特征向量；表示第i-1个第二特征向量与对应的所述第三特征向量之间的匹配结果；W^q、W^r、W^m和b^m表示公式的计算参数。