[发明专利]视觉多通道模型在立体视频质量客观评价中的应用方法

说明书

技术领域

本发明属于视频和图像处理领域，涉及到立体图像质量评价方法和立体视频质量评价方法的改进优化，以及人类视觉系统中的多通道效应在立体视频质量客观评价中的应用，具体讲,涉及视觉多通道模型在立体视频质量客观评价中的应用方法。

背景技术

人眼视觉系统(Human Visual System)可以被看成是一个错综复杂的综合性信息处理系统，它是人类认知大自然的关键工具，在生物学上它由大量的神经细胞相互组织连接而成。通过了解人眼视觉系统及其特性，能更好的认识人眼观看立体视频的过程，从而更好地进行立体视频的质量评价。

随着对于视觉生理学与心理学方面的研究更加深入，研究者发现在人类视觉系统里存在着多个独立的频率处理单元，人眼视觉系统通过这样多个视觉通道来传输采集到的视觉信息。这些通道的空间频率相互独立，它们把采集到的视觉信号划分到具有不同空间频率的通道中进行处理。现阶段，对于人眼视觉系统的多通道特性的研究主要包括时域多通道分解特性与空域多通道分解特性。对于时域多通道效应作用机制的研究仍然存在一些争议，但大多数研究者认为时域多通道效应主要由永久机制与暂时机制两部分构成[1]。而对于空域多通道效应的研究则比较完善，文献[2]通过研究人眼视觉系统对于图像信号处理过程，发现灰度信号通常可分解为4-6个频带和4-8个方向。通常情况下，我们可以采用诸如离散余弦滤波器组、金字塔滤波器或二维方向小波变换的多分辨滤波器组来模拟人眼视觉系统的空域多通道特性。

立体视频能够使观看者获得立体感，这无疑增强了用户的观看体验，使用户的感受更加真实。图像处理、显示技术以及视频编码技术(例如H.264/AVC,H.264/SVC以及多视点视频编码(MVC))使得立体视频技术在很多应用领域得到广泛的发展。最近，最新的HEVC/H.265标准[3]已经增加了对立体视频编码的支持，与H.264相比，在相同的码速率条件下H.265压缩的视频质量更好。而且，随着网络容量和速度的快速增长，高清晰度的立体视频向大的用户群(移动用户、桌面办公用户以及可穿戴设备用户)投送成为可能。这些技术的发展为传统立体电影以外的很多应用带来了革命性的机会，例如移动电话立体视频流、立体视频在线交流、立体视频会议、远程三维重现以及沉浸式三维视频游戏等。全球很多组织机构已经在这方面加强学术交流和标准制定，例如3D@Home[4]致力于3D消费产品对人类生理的影响，并且与很多国际性机构都有联系(包括中国3D工业联盟[5]和日本的3D联合会[6]等)。

立体视频通过引入深度信息从而给观众带来了更好的视觉体验。然而，为了给用户提供更好的立体视频质量，那就不仅要面对2D视频中存在的问题，而且还要面对3D视频所特有的问题。典型的立体视频分别由左右视点构成，有多种存储方式。例如，立体视频的左右视点可以分别存储[7]；可以以彩色图像加深度图[8]的方式存储，在这种存储方式下显示终端可以由深度图来恢复左视图或者右视图；还可以以多视点[9]的方式存储，这种格式可以创建出多种观察角度的视图[10]。立体视频通常有很高的冗余度，这些冗余信息可以通过各种各样的压缩算法来部分消除。但是在对立体视频压缩的同时也会造成立体视频质量的下降，从而影响用户的观看体验甚至给用户的视觉系统带来伤害。所以对压缩的立体视频进行质量评价从而将压缩立体视频的质量管控在一定的范围内显得尤为重要。

立体视频质量评价可分为主观评价和客观评价。由于主观评价方法对实验环境、测试流程、被试者素质等有较高要求，所以完成一次主观评价既耗时又耗力，且结果的精确度易受外界条件影响，结果的可移植性和稳定性难以达到应用要求。客观评价方法较主观评价方法快速、稳定且简单易行。因此，研究合理且高效的客观评价方法意义重大。