[发明专利]视频处理方法、装置、计算机设备及可读存储介质

说明书

本公开提供了一种视频处理方法、装置、计算机设备及可读存储介质，其中，该方法包括：确定待处理视频中的目标视频帧图像、以及与所述目标视频帧图像对应的目标音频信号；对所述目标视频帧图像进行第一编码处理，得到图像特征数据；以及对所述目标音频信号进行第二编码处理，得到音频特征数据；对所述图像特征数据以及所述音频特征数据进行特征融合处理，得到融合特征数据；基于所述融合特征数据进行解码处理，得到所述目标视频帧图像中与所述音频信号对应的发声对象的像素点在所述目标视频帧图像中的第一位置信息。本公开实施例可以提高对待处理视频中发声对象的定位精准度。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种视频处理方法、装置、计算机设备及可读存储介质。

背景技术

视觉信号和音频信号是人类感官中接受的两种极为重要的信号，二者相辅相成可以协助人类感官更好地认知和感受周边事物。例如，当在欣赏一场音乐会时，不仅能够看到演奏者们正在弹奏的各种乐器(即为视觉信号)，同时也能听到乐器发出的声音(即为音频信号)。更为关键的是，当多种乐器声音混合在一起时，人类感官还能够分辨出哪个声音是对应哪个乐器。音频信号和视觉信号从两个方面描述了同一个发声对象，由此可以利用上述特性开展关于视听场景的研究。

现有技术大都聚焦于声源定位问题，即在一个视频中通过音视频信号定位到发声对象，但是只能做到大块区域的粗略定位，对于发声对象的定位精准度较低。

发明内容

本公开实施例至少提供一种视频处理方法、装置、计算机设备及可读存储介质。

第一方面，本公开实施例提供了一种视频处理方法，包括：

确定待处理视频中的目标视频帧图像、以及与所述目标视频帧图像对应的目标音频信号；

对所述目标视频帧图像进行第一编码处理，得到图像特征数据；以及对所述目标音频信号进行第二编码处理，得到音频特征数据；

对所述图像特征数据以及所述音频特征数据进行特征融合处理，得到融合特征数据；

基于所述融合特征数据进行解码处理，得到所述目标视频帧图像中与所述音频信号对应的发声对象的像素点在所述目标视频帧图像中的第一位置信息。

本公开实施例可以基于图像特征数据以及音频特征数据进行编码-解码处理，在像素级得到音频信号对应的发声对象的像素点在目标视频帧图像中的第一位置信息，提高对待处理视频中发声对象的定位精准度。

一种可选的实施方式中，所述确定待处理视频中的目标视频帧图像、以及与所述目标视频帧图像对应的目标音频信号，包括：

获取所述待处理视频、以及与所述待处理视频对应的待处理音频信号，并将所述待处理视频划分为多个待处理子视频；

按照与所述待处理子视频对应的划分方式，将所述待处理音频信号划分为与多个所述待处理子视频分别对应的目标音频信号，以及对多个所述待处理子视频分别进行抽帧处理，得到多个所述待处理子视频分别对应的目标视频帧图像。

这样，可以根据业务需求，获取对应的目标视频帧图像，以及目标音频信号。

一种可选的实施方式中，所述对所述目标视频帧图像进行第一编码处理，得到图像特征数据，包括：

对所述目标视频帧图像进行多级特征提取处理，得到多级特征提取处理的分别对应的中间图像特征数据；

针对多级特征提取中的每级特征提取，对每级特征提取处理对应的中间图像特征数据进行多个采样率的空洞卷积并行采样，得到所述目标视频帧图像对应的图像特征数据。

这样，可以增加特征提取的细粒度。

一种可选的实施方式中，对所述目标音频信号进行第二编码处理，得到音频特征数据，包括：