[发明专利]一种多声道虚拟声像音视频在线检测方法及装置

权利要求书

1.一种多声道虚拟声像音视频在线检测方法，其特征在于，包括：

获取影视作品多轨音视频，提取多轨音频文件和多帧视频文件；

从所述多轨音频文件中提取声音特征参数，并根据所述声音特征参数获取非运动声源信号以及运动声源信号；

对所述运动声源信号利用各通道运动声源的声音特征参数进行匹配，标记运动声源的水平运动轨迹以及运动声源的起始运动时间；

利用所述运动声源的起始运动时间以及所述多帧视频文件通过基于区域的多类目标识别与分割算法进行计算，追踪目标声源，并计算运动声源的垂直上下空间的运动轨迹；

利用所述运动声源的水平运动轨迹、所述运动声源的起始运动时间以及所述运动声源的垂直上下空间的运动轨迹在所述多轨音频文件中添加运动声源的标注文件。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取动态检测的训练集和测试集；

利用所述训练集和所述测试集生成音频运动声源区别的模型。

3.根据权利要求2所述的方法，其特征在于，所述利用所述训练集和所述测试集生成音频运动声源区别的模型包括：

对每一声道运动声源的声音特征参数与非运动声源的声音特征参数进行聚类分析，确定运动声源与非运动声源的声音特征参数，确定所述音频运动声源区别的模型。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述声音特征参数获取非运动声源信号以及运动声源信号包括：

将所述声音特征参数代入所述音频运动声源区别的模型获取所述非运动声源信号以及所述运动声源信号。

5.根据权利要求1所述的方法，其特征在于，所述从所述多轨音频文件中提取声音特征参数包括：

对所述多轨音频文件中的每一声道进行声音特征检测，得到每一声道的声音特征参数。

6.根据权利要求1所述的方法，其特征在于，所述对所述运动声源信号利用各通道运动声源的声音特征参数进行匹配，标记运动声源的水平运动轨迹以及运动声源的起始运动时间包括：

对已确定的运动声源的声音特征参数进行分析，将不同声道间的相近时间段内的运动声源声音特征参数进行匹配，确定运动声源在各声道出现的时间先后顺序来判定所述运动声源的水平运动轨迹以及所述运动声源的起始运动时间。

7.根据权利要求1所述的方法，其特征在于，所述利用所述运动声源的起始运动时间以及所述多帧视频文件通过基于区域的多类目标识别与分割算法进行计算，追踪目标声源，并计算运动声源的垂直上下空间的运动轨迹包括：

获取运动时间内的目标声源的模板，对序列图像进行有限个连续区域的分割，通过图像处理特征提取算法进行目标声源提取与连续时间段内的目标声源跟踪，确定所述目标声源的垂直上下空间的运动轨迹。

8.一种多声道虚拟声像音视频在线检测装置，其特征在于，包括：

提取模块，用于获取影视作品多轨音视频，提取多轨音频文件和多帧视频文件；

获取模块，用于从所述多轨音频文件中提取声音特征参数，并根据所述声音特征参数获取非运动声源信号以及运动声源信号；

标记模块，用于对所述运动声源信号利用各通道运动声源的声音特征参数进行匹配，标记运动声源的水平运动轨迹以及运动声源的起始运动时间；

计算模块，用于利用所述运动声源的起始运动时间以及所述多帧视频文件通过基于区域的多类目标识别与分割算法进行计算，追踪目标声源，并计算运动声源的垂直上下空间的运动轨迹；

添加模块，用于利用所述运动声源的水平运动轨迹、所述运动声源的起始运动时间以及所述运动声源的垂直上下空间的运动轨迹在所述多轨音频文件中添加运动声源的标注文件。

9.根据权利要求8所述的装置，其特征在于，还包括：模型生成模块；

所述模型生成模块，用于获取动态检测的训练集和测试集；利用所述训练集和所述测试集生成音频运动声源区别的模型。