[发明专利]基于深度学习的立体视频质量客观评价方法

摘要

本发明公开了一种基于深度学习的立体视频质量客观评价方法：处理图像得到独眼图、双目和图及双目差图；独眼图上提取HOG特征；分别在双目和图和双目差图提取GM和LOG的联合分布特征；光流场上提取时域特征；时间方向上求视频每组特征平均值；通过稀疏自编码器对输入特征抽象表达，分别建立深度学习网络评价模型；利用深度学习网络评价模型分别预测独眼图、双目和图和双目差图、流场图的质量分数；独眼图、双目和图和双目差图、流场图加权整合。本发明结合HOG特征、GM和LOG的联合分布特征、以及光流特征对立体视频质量的影响，进行立体视频质量评价，提高立体视频客观质量评价的准确性。

主权项

1.基于深度学习的立体视频质量客观评价方法，每个失真立体视频对由左视点视频和右视点视频组成，其特征在于，包括以下步骤：第一步，对组成左视点视频和右视点视频的图像序列分别进行处理，得到独眼图、双目和图及双目差图；第二步，空域特征提取：在独眼图上提取HOG特征，记为第三步，空域特征提取：分别在双目和图和双目差图上提取高斯幅度(GM)和高斯拉普拉斯算子(LOG)的联合分布特征，分别记为和第四步，时域特征提取：计算相邻两帧图像的独眼图间的光流场，并在光流场上提取特征作为时域特征Ft；第五步，以上述空域特征、时域特征为基础，对视频的所有图像序列执行第一步到第四步，并在时间方向上求视频每组特征的平均值，分别记为和并将双目和图和双目差图的特征进行级联，记为第六步，在已知主观分数的立体视频库上训练自稀疏编码器模型，通过稀疏自编码器对输入特征进行抽象表达，根据输入的独眼图、双目和图及双目差图、光流场图的特征，分别建立相应的深度学习网络评价模型，分别记为SAE‑C、SAE‑SD、SAE‑T；第七步，测试阶段：对待测试视频进行第一步到第五步的处理，提取对应的特征，之后利用各自的深度学习网络评价模型分别进行预测，得到视频的独眼图质量客观分数预测值Qc、双目和图和双目差图质量客观分数预测值Qsd和光流场图质量客观分数预测值Qt；第八步，整合阶段：将独眼图、双目和图及双目差图看作空域质量，将光流场图看作时域质量；将视频的独眼图质量客观分数预测值Qc、双目和图和双目差图质量客观分数预测值Qsd和光流场图质量客观分数预测值Qt按以下公式进行加权整合：Q＝α·Qs+β·Qt (α+β＝1)Qs＝u·Qc+v·Qsd (u+v＝1)