[发明专利]图像空洞的填补方法和装置及视频图像的处理方法和装置

说明书

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像空洞的填补方法和装置及视频图像的处理方法和装置。

背景技术

立体视频图像在处理环节，需要对所绘制的虚拟视点图像中所出现的空洞进行填补，在空洞填补的过程中，现有技术方案需要利用空洞像素周边的已知颜色信息的像素集进行综合判断后才能填补。而光栅扫描方式需要在数据输入的过程中进行空洞填补，而不是在整幅图像读入之后再进行空洞填补，这就要求：第一，进行空洞填补时的算法非常简单，所涉及的运算法则简单，算法整体复杂度很低；第二，只能利用空洞点之前已输入的信息进行空洞填补，而不能使用还未输入的那些数据。但是，现有技术中对空洞填补的方案由于涉及已知像素个数较多，判断过程复杂，因此计算复杂度较高，涉及运算类型繁多，进而造成填补过程难以通过光栅扫描的处理方式进行，对于实时视频、图像处理系统(包括软、硬件)而言不适宜采用，也不利于进行硬件开发与实现。

针对相关技术中难以通过光栅扫描方式填补虚拟视点图像中的空洞的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种图像空洞的填补方法和装置及视频图像的处理方法和装置，以解决现有技术中难以通过光栅扫描方式填补虚拟视点图像中的空洞的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种图像空洞的填补方法，包括：获取视频图像和视频图像的三维空间信息；根据三维空间信息确定视频图像的各个像素点的视差值；将视差值乘以预设常数得到虚拟视点图像中各个虚拟视点的位置信息，其中，虚拟视点图像为视频图像对应的虚拟视点图像；根据预设常数确定绘制虚拟视点图像的方向；按照确定的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制虚拟视点图像；以及在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞。

进一步地，根据预设常数确定绘制虚拟视点图像的方向包括：比较预设常数与零的大小；若预设常数大于零，则确定绘制虚拟视点图像的方向为第一方向，其中，第一方向为从接收到的三维空间信息的起始数据至接收到的三维空间信息的终止数据的方向；以及若预设常数小于零，则确定绘制虚拟视点图像的方向为第二方向，其中，第二方向为从终止数据至起始数据的方向。

进一步地，在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞包括：获取读取到的像素点中的第一类像素点，其中，第一类像素点中各个像素点的深度值均小于预设深度值；以及利用第一类像素点中各个像素点的像素值填补空洞。

进一步地，获取读取到的像素点中的第一类像素点包括：获取读取到的像素点中预设区域内的第一类像素点。

进一步地，利用第一类像素点中各个像素点的像素值填补空洞包括：计算第一类像素点中各个像素点的像素值的方差；判断方差是否小于或等于预设值；若判定方差小于或等于预设值，则对第一类像素点中各个像素点的像素值进行中值滤波得到第一像素值，并确定第一像素值为空洞的像素值；以及若判定方差大于预设值，则对第一类像素点中各个像素点的像素值进行图像修复得到第二像素值，并确定第二像素值为空洞的像素值。

进一步地，预设区域为矩形区域。

为了实现上述目的，根据本发明的另一方面，提供了一种视频图像的处理方法，包括：通过本发明上述内容所提供的图像空洞的填补方法获取视频图像的虚拟视点图像；对虚拟视点图像进行上采样；对上采样后的虚拟视点图像进行滤波；对滤波后的虚拟视点图像进行下采样，以得到与视频图像同分辨率的虚拟视频图像；以及根据视频图像和虚拟视频图像确定双目立体视频图像。

为了实现上述目的，根据本发明的另一方面，提供了一种图像空洞的填补装置，包括：获取单元，用于获取视频图像和视频图像的三维空间信息；第一确定单元，用于根据三维空间信息确定视频图像的各个像素点的视差值；计算单元，用于将视差值乘以预设常数得到虚拟视点图像中各个虚拟视点的位置信息，其中，虚拟视点图像为视频图像对应的虚拟视点图像；第二确定单元，用于根据预设常数确定绘制虚拟视点图像的方向；读取单元，用于按照确定的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制虚拟视点图像；以及填补单元，用于在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞。