[发明专利]一种3D图像空间与3D视听空间转换方法及装置

说明书

技术领域

本发明涉及3D视听技术领域，尤其涉及图像空间转3D视听空间的方法，研究视频中用户视觉对目标对象的位置的感知与用户听觉对目标对象位置的感知之间的转换关系。

背景技术

随着3D影视产业的飞速发展，作为3D影视的灵魂，3D音视频技术已成为多媒体技术领域的研究热点和进一步发展的重要方向，面向影剧院、家庭娱乐环境的3D视听系统不断推陈出新，现有的3D视频技术已经能为观众提供很好的临场体验，市场上也出现了大量支持3D视觉效果的设备，然而，3D音频技术的发展与3D视频技术的发展并未同步跟进。目前市面上销售的产品都是沿用原有的立体声或环绕声技术，基于传统立体声或环绕声发展起来的2D音频系统缺乏对声音对象的三维空间信息表达，在3D视听系统中不能完整表达图像目标对象的声音空间信息，导致3D音频与3D视频感知的不匹配，如3D视频中看到发声体在左前方，而听觉感知发声体在前甚至无法感知到具体位置，损害了听众对视听事件的完整空间感受。.

发明内容

本发明的目的是在图像空间中获取目标对象的方位信息和3D视频中获取目标对象的距离信息，然后在视听空间中还原声像的目标位置，重建目标对象方位信息。

为实现上述目的，本发明提供了一种3D图像空间与3D视听空间转换方法，包括以下步骤，

步骤1，目标对象方位信息获取，包括将图像坐标系内中心点的位置和目标对象的位置作为输入，得到目标对象相对于中心点的方位信息；所述中心点位于图像的中心位置；

步骤2，目标对象方位信息转换，包括将图像坐标系中目标对象相对于中心点的方位信息映射到视听坐标系，得到目标对象相对于中心点在视听坐标系中的方位信息；

步骤3，深度信息获取，包括从3D视频中提取出目标对象的深度值和中心点的深度值；

步骤4，目标对象距离信息获取，包括根据步骤3所得目标对象与中心点的深度值，计算出目标对象与中心点的深度差，转换得到以物理单位为度量的目标对象相对于中心点的距离信息；

步骤5，声像位置还原，包括根据步骤2中所得到的目标对象相对于中心点的方位信息和步骤4中所得到的目标对象相对于中心点的距离信息，还原出目标对象在视听坐标系中的目标位置。

而且，所述图像坐标系是在图像上定义的直角坐标系u-v，图像的左上角为原点O₀，u为图像的水平方向，v为图像的垂直方向；所述视听坐标系是由听音点和X_c,Y_c,Z_c轴组成的直角坐标系，听音点为原点，X_c轴和Y_c轴与图像坐标系的u轴和v轴平行，Z_c轴为摄像机光轴，和图像平面垂直；

步骤1中，设图像坐标系内，中心点的位置以二维点的形式记为LC[a,b]^T，目标对象的位置为LO[x,y]^T，得到目标对象相对于中心点的方位信息是[x-a,y-b]^T；

步骤2中，得到目标对象相对于中心点在视听坐标系中的方位信息如下，

[x_w-a_w,y_w-b_w,z_w-c_w]^T

其中，a_w是中心点在视听坐标系中水平方向的值，b_w是中心点在视听坐标系中垂直方向的值，c_w是中心点在视听坐标系中位于摄像机光轴方向的值，x_w是中心点在视听坐标系中水平方向的值，y_w是中心点在视听坐标系中垂直方向的值，z_w是中心点在视听坐标系中位于摄像机光轴方向的值。

而且，步骤3中，所述目标对象的深度值通过计算摄像机光学中心到目标对象的深度值Z_Lspeaker(u,v)得到，公式如下，