[发明专利]一种实时虚拟现实加速方法及装置

说明书

本发明涉及一种实时虚拟现实加速方法，包括获取输入图像；将输出图像缓存划分成M行、N列的矩形网格块；根据反畸变、反色散及异步时间扭曲融合算法计算输出图像缓存网格块对应输入图像网格块的顶点坐标；计算输出图像缓存和输入图像中每对网格块的二维映射系数；根据二维映射系数计算输出图像像素点对应在输入图像像素点坐标；选取与输入图像像素点的坐标临近的至少四个像素点计算输出图像像素点的值；输出反畸变、反色散及异步时间扭曲后的图像。通过对输入图像及输出图像缓存进行网格划分，对输入输出图像块的顶点坐标采用二维映射方式插值实现反畸变、反色散及异步时间扭曲功能，达到降低GPU负载、减少带宽消耗、降低延迟、不眩晕的VR体验效果。

技术领域

本发明涉及虚拟现实领域，具体涉及一种实时虚拟现实加速方法及装置。

背景技术

VR头显镜片畸变能最大化覆盖人的视觉范围的扭曲，呈现更大的视场角，增强体验的沉浸感。显示屏上的图像在透过透镜放大时，图像会被畸变。为了抵消这个畸变，需要对图像进行拉伸扭曲，这样投影到视网膜上的就是没有变形的图像，该技术被称为反畸变。

白光通过三棱镜时射出的是一道彩虹，那是因为不同的颜色光线折射率不同，对于VR的透镜边缘也会有同样场景发生，为解决该问题，采用类似反畸变的做法，利用光路可逆原理，先在图像进入透镜前做一次反色散，这样经过透镜出来后的图像就正常了，这种技术就叫反色散。

异步时间扭曲是一种生成中间帧的技术，当游戏或视频图像不能保持足够帧率的时候，异步时间扭曲能产生中间帧，从而有效减少图像画面的抖动。在使用VR设备时，由于头部运动过快，而造成场景渲染的延迟，时间扭曲通过基于方向扭曲一副被送往显示器之前的图像，来解决这个延迟问题。异步时间扭曲技术被广泛用于VR等产品中，有效解决图像抖动、延迟，从而减少视频图像眩晕感。

现有实现方式大多是基于GPU加速的反畸变、反色散及异步时移，典型的有GearVR、oclulus的VR头显及cardbord的头显产品，这些产品都对GPU性能、DDR速度、显示时延及整机功耗提出了挑战。现有的技术主要存在以下缺点：反畸变、反色散、异步时间扭曲是分步通过GPU或软件运算进行的，计算反畸变、反色散、异步时间扭曲需要耗费GPU负载及系统负载；异步时间扭曲需要GPU硬件支持合理的抢占粒度，同时需要操作系统和驱动程序支持GPU抢占；实现时GPU是存储器-存储器方式，带宽消耗很大，从而导致功耗增加；且GPU采用的是离线方式，额外增加了处理延时，VR体验变差。

发明内容

本发明解决其技术问题所采用的技术方案是：提供一种实时虚拟现实加速方法，包括：步骤1，获取输入图像；步骤2，将输出图像缓存划分成M行、N列的矩形网格块，并输出所述矩形网格块的顶点坐标；步骤3，根据反畸变、反色散及时间扭曲融合的算法模型计算出所述输出图像缓存网格块的顶点坐标对应的输入图像网格块的顶点坐标；步骤4，根据所述输出图像缓存网格块的顶点坐标和所述输入图像网格块中对应的顶点坐标计算所述输出图像缓存和所述输入图像中每对网格块的二维映射系数；步骤5，根据所述二维映射系数计算输出图像像素点对应在输入图像像素点的坐标；步骤6，选取与所述输出图像像素点对应在所述输入图像像素点的坐标临近的至少四个像素点的像素值，以计算所述输出图像像素点的像素值；步骤7，输出反畸变、反色散及异步时间扭曲后的图像。

所述步骤1中的输入图像是经过球形变换的视频图像。

所述步骤2中的M和N的取值为2的幂次。

所述步骤4具体为：根据所述输出图像缓存网格块的顶点坐标和所述输入图像网格块中对应的顶点坐标计算所述输出图像缓存和所述输入图像中每对网格块的R、G、B分量的二维映射系数。

所述步骤5具体为：根据所述R、G、B分量的二维映射系数分别计算输出图像缓存中的像素点的R、G、B分量对应在输入图像中像素点的R、G、B分量的坐标。