[发明专利]多视角立体渲染装置

说明书

技术领域

本发明涉及计算机视觉和视频处理技术领域，特别涉及一种多视角立体渲染装置。

背景技术

在立体视频的拍摄、制作过程中，深度图反映了一副图像的每个像素与观测者的距离远近。深度图可通过不同的途径获得，例如深度探测仪、在多视角视频中通过立体匹配、单视角视频中通过图像理解算法等。而视差图则反映出对于同一物体或场景，观测者在不同视角下观察时所体现出来的差别，人体因为这些差别而产生出立体感。一般来说，每一个视角观测到的视差图都是不一样的，不同视角的视差图可以通过将深度图经过量化、滤波等处理获得。因此，基于深度图的立体渲染是立体视频制作、处理的一个至关重要的步骤。

现有技术普遍采用软件进行多视角立体渲染，现有技术存在的问题是，计算能力受限、数据传送带宽不够，特别是在视频内容分辨率高、视角数量较多的情况下显得尤为突出。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为达到上述目的，本发明提出一种多视角立体渲染装置，包括：视差图生成模块，用于接收视频图像和所述视频图像对应的深度图，并根据预定的视差控制信号对所述深度图进行转换以获得多个视角的视差图；以及多个渲染器，所述渲染器的数量与所述视角的数量相同，且每个渲染器分别用于根据每个视角的视差图和所述视频图像进行图像渲染以获得每个视角的图像。

在本发明的一个实施例中，所述渲染器进一步包括：视差图预处理单元，用于根据所述视差图的视差值和所述视差控制信号生成第一控制信号和第二控制信号，其中，所述第一控制信号和所述第二控制信号的取值为0或1；像素搬移单元，用于根据所述视差值、第一控制信号及第二控制信号对所述视频图像的当前像素进行搬移，并获得所述当前像素所对应的位置的空洞标志位；以及空洞填补单元，用于根据所述空洞标志位对所述当前像素进行空洞填补并将所述空洞标志位清零，以及输出填补后的视频图像。

在本发明的一个实施例中，所述视差图预处理单元进一步包括：第一寄存器，用于存储视差值的基准数值；第二寄存器，用于存储当前视差值；状态判断子单元，用于根据所述基准数值和所述当前视差值输出所述第一控制信号和所述第二控制信号，如果所述当前视差值大于所述基准数值，则所述第一控制信号输出1，所述第二控制信号输出1，如果所述当前视差值等于所述基准数值，则所述第一控制信号输出0，所述第二控制信号输出1，如果所述当前视差值小于所述基准数值，则所述第一控制信号输出0，所述第二控制信号输出0。

在本发明的一个实施例中，当所述第一控制信号输出1时，对所述当前像素搬移后，所述当前像素所对应的位置的空洞标志位为0；当所述第一控制信号输出0时，对所述当前像素搬移后，所述当前像素所对应的位置的空洞标志位为1。

在本发明的一个实施例中，当所述第二控制信号输出1时，对所述当前像素搬移后，所述当前像素不被其他像素覆盖；当所述第二控制信号输出0时，对所述当前像素搬移后，所述当前像素被其他像素覆盖。

在本发明的一个实施例中，所述像素搬移单元进一步包括：状态寄存器，用于存储空洞标志位；环形读写存储器，用于存储所述当前像素；像素FIFO存储器，用于存储空洞位置的像素；写数据控制器，用于根据所述第一控制信号和第二控制信号控制所述环形读写存储器、状态寄存器和像素FIFO存储器的写入操作，当所述第一控制信号输出1时，则将所述当前像素写入所述环形读写存储器，并将所述空洞标志位置1，如果所述第二控制信号也输出1，则同时将所述当前像素写入所述像素FIFO存储器，如果所述第二控制信号输出0，则不进行所述像素FIFO存储器的写入操作，当所述第一控制信号输出0，不进行任何操作。

在本发明的一个实施例中，所述空洞填补单元进一步包括：读取接口，用于依次从所述环形读写存储器中读出所述当前像素及所述状态寄存器中读出所述空洞标志位；空洞判断子单元，用于判断所述空洞标志位；填补子单元，用于根据所述空洞标志位的判断结果填补所述视频图像，如果所述空洞标志位值为1，则所述读出的像素有效，直接输出所述像素，并将所述空洞标志位值置0，如果所述空洞标志位值为0，则所述读出的像素无效，所述像素对应的当前位置为空洞位置，从所述像素FIFO存储器中读取一个像素值，并根据所述空洞位置左右两侧的像素值计算获得所述空洞中填补的像素值并将其输出。

在本发明的一个实施例中，根据所述视差值确定所述环形读写存储器大小，且所述环形读写存储器至少为所述视差值最大范围值加1之后的2倍。