[发明专利]一种音视频在线检测与虚拟声像生成方法及装置

说明书

本发明提供了一种音视频在线检测与虚拟声像生成方法及装置，其中方法包括：对视频以及多声道音频进行多声道音视频在线检测，得到声音特征参数的标注文件；生成多声道音频文件，并利用多声道音频文件生成多声道音频信号，对多声道音频信号进行信号矩阵分配，得到分配结果；从声音特征参数的标注文件中提取运动声源的运动轨迹以及运动时间，并将运动声源的运动轨迹以及运动时间代入运动声源运动速率感知模型，从声音特征参数的标注文件中提取声学参数，并将声学参数代入三维声源距离感知模型，获得运动声源运动过程中所需声道以及相应声道中的声学参数；利用分配结果以及运动声源运动过程中所需声道以及相应声道中的声学参数进行虚拟声像的生成。

技术领域

本发明涉及虚拟声像生成技术领域，尤其涉及一种音视频在线检测与虚拟声像生成方法及装置。

背景技术

目前市面上的影视资源更多采用多通道录制，是为了更好的达到音效的真实饱满。但是对于听众而言，确实无法完美匹配动态音效与影像画面。随着影视行业的发展，现存很多模式，其中包括杜比全景声、AURO-3D等，但也存在重放过程中声像效果不佳等问题。如何让听众在现有的环境和已有片源音频制式的情况下，对于全景声格式下虚拟声像再生成与模拟则是本处理器需要解决的问题。

于此同时，对国内外全景声重放系统声像生成的技术发展与相关成果进行研究分析，不难发现其中存在以下若干问题。

1)研究文献可以看出，目前全景声重放系统制式较多，但是均未明确针对上方和下方空间音效问题进行处理，且上下方空间音效重放制式也未进行规范或说明；根据现有市面上各种全景声重放方式在放映时，听者确实也感觉存在垂直空间音效声像不定，且容易混淆等问题存在；因而模拟垂直空间音效，改善上下方声像是切实需要解决的问题。

2)目前的影视作品的音频制作主要分为两种：一种为同期录音即同期音，这些声音主要包括演员的对白、动作音效和拍摄现场的声音空间环境效果。另一种为后期录音。但是目前常用的是后期录音来解决动态音效以及声音空间环境效果，这样实际重放过程中就存在难以解决的声音距离感以及动态音效运动速率等问题。

A、声音的距离感知的实验探究，目前的国内外的文献研究较少，也没有给出一定结论可以直接进行工程应用。

a)针对不同频率成分距离感知问题，文献中标明随着频率成分和空间感知距离存在一定关系，但是没有提供更多的关于垂直轴向距离感知与频率成分的关系，这是可以研究的一个问题；

b)现有的文献研究主要集中于水平面上的主观距离感知，但实际应用中，是需要对水平面及垂直面进行综合应用，故水平面与垂直面上人主观距离感知是否存在明显的差异性，并且此差异性是否可以进行线性修正都是需要通过实验进行探讨；

c)同时对于主观距离感知的影响因素更多的研究偏重于声压级变化，但是声源入射的角度、延时参量的设置等是否对其有一定的影响，也是需要实验来进行进一步探讨；

d)即使影响主观距离感知因素主要取决声压级的变化，但是类似于近场范围内，不同声压级变化时人主观距离感知也存在一定的范围，但是此范围也需要通过实验也进行实际确定，便于实际工程应用；

B、根据文献资料可知，针对运动声源感知的阈限的探索相对较少，但是是否存在影响运动声源感知阈限的其他因素；

a)由于运动声源感知阈限的结论比较宽泛，没办法进行应用，因而需要对其实验结果进行补充，得到不同声源信号以及不同声源频率相应的运动声源感知阈限。

b)针对影视音频制作中，动态音效基本上都存在一定背景音存在；因而信噪比变化对于运动声源感知阈限存在什么样的影响，也是在进行工程应用前需要解决的问题；

c)目前对于运动声源阈限的感知研究，基本上都是固定在一个半径范围内即半径为2.5m，但是实际影视重放时，扬声器配置远大于这个范围，因而声源位置距离是否对运动声源阈限的感知有影响；如果存在，影响的趋势变化也是需要探讨的。