[发明专利]一种视频及音频联合质量评价方法和装置

权利要求书

1.一种视频及音频联合质量评价方法，其特征在于，包括：

S1：利用视频质量评价模型预测输入视频信号的视频质量，得到视频预测质量分数Q_v及视频预测质量特征f_v；利用音频质量评价模型预测输入音频信号的音频质量，得到音频预测质量分数Q_a及音频预测质量特征f_a；

S2：对S1中得到的视频预测质量分数Q_v及音频预测质量分数Q_a分别进行归一化处理，得到归一化的视频预测质量分数及音频预测质量分数

S3：融合S2中得到的归一化的视频预测质量分数及音频预测质量分数或，融合S1中得到的视频预测质量特征f_v及音频预测质量特征f_a，进而得到预测的视频及音频联合质量分数Q_av或特征f_av；

所述S2中，对音频预测质量分数Q_a进行归一化处理的方法，包括：

对音频预测质量分数Q_a进行单调上升归一化处理的方法为：

或

对音频预测质量分数Q_a进行单调下降归一化处理的方法为：

其中，和分别是Q_a的已知值的边界；

归一化后的音频预测质量分数在[0，1]范围内具有单调趋势，并与归一化后的视频预测质量分数具有相同的单调趋势；

所述S2中，对视频预测质量分数Q_v进行归一化处理的方法，包括：

对视频预测质量分数Q_v进行单调上升归一化处理的方法为：

或

对视频预测质量分数Q_v进行单调下降归一化处理的方法为：

其中，和分别是Q_v的已知值的边界；

归一化后的音频预测质量分数在[0，1]范围内具有单调趋势，并与归一化后的音频预测质量分数具有相同的单调趋势；

所述S3中，对归一化的视频预测质量分数及音频预测质量分数进行融合，采用如下任意一种或任意多种方法：

-乘积方式的融合方法：

其中，Q_av为预测的视频及音频联合质量分数；

-加权乘积方式的融合方法：

其中，0≤w≤1，用于控制两种模态之间的相对权重；

-采用经过数据训练的回归器进行融合：

其中，回归器SVR利用单一模态的质量预测分数及以及给定的主观音视频质量真值来进行训练；

所述S3中，对视频预测质量特征f_v及音频预测质量特征f_a进行融合的方法为：

采用回归器进行融合：

f_av＝SVR(f_v，f_a)

其中，f_av为预测的视频及音频联合质量特征。

2.根据权利要求1所述的一种视频及音频联合质量评价方法，其特征在于，所述S1中，采用如下任意一种或任意多种视频质量评价方法作为视频质量评价模型，并对输入视频信号进行视频质量预测：

-视频多方法评价融合算法VMAF；

-时空半参考熵差指标STRRED；

-空域高效熵差指标SPEED；

-视频质量模型VQM；

-结构相似性指标SSIM；

-多尺度结构相似性指标MS-SSIM；

-像素域视觉信息保真度算法VIFP；

-特征相似性算法FSIM；

-梯度幅值相似性偏差算法GMSD。

3.根据权利要求1所述的一种视频及音频联合质量评价方法，其特征在于，所述S1中，采用如下任意一种或任意多种音频质量评价方法作为音频质量评价模型，并对输入音频信号进行音频质量预测：

-音频质量感知评价模型PEAQ；

-短时客观清晰度指标STOI；

-模拟语音质量客观监听算法ViSQOL；

-对数似然值比例LLR；

-信噪比SNR；

-分段信噪比segSNR。