[发明专利]一种多声道虚拟声像音视频在线检测方法及装置

说明书

本发明提供了一种多声道虚拟声像音视频在线检测方法及装置，其中方法包括：获取影视作品多轨音视频，提取多轨音频文件和多帧视频文件；从多轨音频文件中提取声音特征参数，并根据声音特征参数获取非运动声源信号以及运动声源信号；对运动声源信号利用各通道运动声源的声音特征参数进行匹配，标记运动声源的水平运动轨迹以及运动声源的起始运动时间；利用运动声源的起始运动时间以及多帧视频文件通过基于区域的多类目标识别与分割算法进行计算，追踪目标声源，并计算运动声源的垂直上下空间的运动轨迹；在多轨音频文件中添加运动声源的标注文件。

技术领域

本发明涉及音视频在线检测技术领域，尤其涉及一种多声道虚拟声像音视频在线检测方法及装置。

背景技术

随着影视作品出品率越来越高和音视频技术的高速发展，现在音视频数量也呈现爆炸性的增长，其中观众在观看影视作品时对于声像的运动感知要求越来越高。但是现在实现对于声像运动感知基本来自于影视作品音频制作者的艺术理解，基本上集中于平面状态，基本未涉及垂直状态的声像运动感知的设计。同时针对于现在占片源量高达60％以上的杜比5.1以及7.1的音视频重放制式，对于声像运动轨迹的三维感知基本没办法实现。

音视频检测在日常生活中也存在一定应用，随着网络音视频的数目机位庞大且每天都会产生大量新数据，因而对于暴力、恐怖音视频内容检测系统也是存在的，其主要对单一的暴恐或非暴恐进行检测以及分类标签的标注。

由此可见，现有技术中对音视频检测技术主要有以下的缺陷和不足：

1.现有的音视频检测技术主要应用于音视频内容检测，但只对单一的内容进行检测分类，且未用于影视作品重放中虚拟声像轨迹的精准呈现中，并未对于影视作品中的大部分动态音效进行检测；

2.在现有影视作品特别是占片源量高达60％以上的杜比5.1以及7.1等音视频重放制式进行重放时，虚拟声像就只能进行平面运动，而没办法实现三维运动感知；

3.现有音视频技术主要是将音频、视频分别进行处理，并未将两者进行有效的结合进行影视作品重放中的虚拟声像生成应用。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的一种多声道虚拟声像音视频在线检测方法及装置。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种多声道虚拟声像音视频在线检测方法，包括：获取影视作品多轨音视频，提取多轨音频文件和多帧视频文件；从多轨音频文件中提取声音特征参数，并根据声音特征参数获取非运动声源信号以及运动声源信号；对运动声源信号利用各通道运动声源的声音特征参数进行匹配，标记运动声源的水平运动轨迹以及运动声源的起始运动时间；利用运动声源的起始运动时间以及多帧视频文件通过基于区域的多类目标识别与分割算法进行计算，追踪目标声源，并计算运动声源的垂直上下空间的运动轨迹；利用运动声源的水平运动轨迹、运动声源的起始运动时间以及运动声源的垂直上下空间的运动轨迹在多轨音频文件中添加运动声源的标注文件。

其中，多声道虚拟声像音视频在线检测方法还包括：获取动态检测的训练集和测试集；利用训练集和测试集生成音频运动声源区别的模型。

其中，利用训练集和测试集生成音频运动声源区别的模型包括：对每一声道运动声源的声音特征参数与非运动声源的声音特征参数进行聚类分析，确定运动声源与非运动声源的声音特征参数，确定音频运动声源区别的模型。

其中，根据声音特征参数获取非运动声源信号以及运动声源信号包括：将声音特征参数代入音频运动声源区别的模型获取非运动声源信号以及运动声源信号。

其中，从多轨音频文件中提取声音特征参数包括：对多轨音频文件中的每一声道进行声音特征检测，得到每一声道的声音特征参数。