[发明专利]盲人无障碍电影音频处理方法、装置及存储介质

权利要求书

1.一种基于外挂AD音轨的盲人无障碍电影音频处理方法，其特征在于，包括：

获取正片的媒体数据流和外挂AD音轨的媒体数据流；

基于正片的媒体数据流解析分离得到正片视频帧队列Q_videoES、正片音频帧队列Q_audioES，并基于外挂AD音轨的媒体数据流解析分离得到AD轨音频帧队列Q_audioES，并完成正片视频帧队列Q_videoES、正片音频帧队列Q_audioES和AD轨音频帧队列Q_audioES的时间轴同步；

基于正片音频帧队列Q_audioES提取正片处理段PCM数据帧序列，并基于AD轨音频帧队列Q_audioES提取AD轨处理段PCM数据帧序列；

对AD轨处理段PCM数据帧序列进行语音活动检测，得到每一帧的语音活动状态，其中，所述语音活动状态为活动或不活动；

对正片处理段PCM数据帧序列的每一帧计算音量，得到正片音量序列，并对该正片音量序列种的元素逐个计算移动平均值，得到正片平均音量序列；

对AD轨处理段PCM数据帧序列中语音活动状态为不活动的帧修改为静音值，并对剩余帧逐个计算移动平均值，得到AD轨平均音量序列；

基于语音活动检测结果逐帧调节正片平均音量序列和AD轨平均音量序列；

基于处理得到的正片平均音量序列和AD轨平均音量序列生成待播放的音频。

2.根据权利要求1所述的一种基于外挂AD音轨的盲人无障碍电影音频处理方法，其特征在于，所述基于语音活动检测结果逐帧调节正片平均音量序列和AD轨平均音量序列，具体包括：

初始调节值生成步骤：逐帧确定正片平均音量序列和AD轨平均音量序列中每帧音量的相对调节幅度，得到正片相对调节值序列和AD轨相对调节值序列；

音量调节步骤：根据正片相对调节值序列和AD轨相对调节值序列调节正片平均音量序列和AD轨平均音量序列。

3.根据权利要求2所述的一种基于外挂AD音轨的盲人无障碍电影音频处理方法，其特征在于，所述正片相对调节值序列和AD轨相对调节值序列中任一帧的调节值的确定过程如下：

当该帧的语音活动状态为不活动时，正片相对调节值和AD轨相对调节值均为0；

当该帧的语音活动状态为活动时，则计算该帧的正片平均音量和AD轨平均音量的差值：

若该帧的正片平均音量和AD轨平均音量的差值小于-10，则正片相对调节值和AD轨相对调节值均为0；

若该帧的正片平均音量和AD轨平均音量的差值小于在-10到0之间，AD轨相对调节值为0，正片相对调节值为D_movie＝L_AD'(t)-L_movie'(t)-10，其中，D_movie为正片相对调节值，L_AD'(t)为AD轨平均音量，L_movie'(t)为正片平均音量；

若该帧的正片平均音量和AD轨平均音量的差值小于在0到10之间，则正片相对调节值为-10，AD轨相对调节值为D_AD(t)＝L_movie'(t)-L_AD'(t)-10；

若该帧的正片平均音量和AD轨平均音量的差值大于10，则正片相对调节值为-10，AD轨相对调节值为10。

4.根据权利要求2所述的一种基于外挂AD音轨的盲人无障碍电影音频处理方法，其特征在于，所述基于语音活动检测结果逐帧调节正片平均音量序列和AD轨平均音量序列，还包括：

调节值优化步骤：对由初始调节值生成步骤得到的正片相对调节值序列和AD轨相对调节值序列进行平滑处理；

所述音量调节步骤中具体为使用调节值优化步骤得到的结果进行音量调节。