[发明专利]一种图像处理方法、头戴显示器以及渲染设备

说明书

本发明实施例公开了一种图像处理方法、头戴显示器以及渲染设备。其中一种方法包括：向渲染设备发送头戴显示器在第一时刻的姿态信息；接收来自渲染设备的视频数据，视频数据包括根据姿态信息渲染得到图像数据；获取头戴显示器在第二时刻的姿态信息，第二时刻晚于第一时刻；根据第二时刻的姿态信息与第一时刻的姿态信息的信息差，调整图像数据指示的图像，从而得到用于显示的调整后的图像。采用本发明实施例，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生画面绘制延时。

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像处理方法、头戴显示器以及渲染设备。

背景技术

虚拟现实(Virtual Reality，VR)技术是近年来新兴的多媒体技术。它是一种可以创建和体验虚拟世界的计算机仿真系统。在VR场景中，使用者通过佩戴一种集成图形系统、光学系统以及姿态追踪系统的头戴显示器(Head Mounted Display，HMD)后，可以让使用者获得一种可交互的沉浸式体验。

在VR视频传输场景中，多采用无线进行传输。目前，无线VR视频传输过程如图1所示，HMD采集姿态信息后通过无线传输至渲染设备(Application Processor，AP)，而AP则根据接收到的姿态信息渲染出对应的图像数据/视频数据，并无线回传至HMD，使得HMD对图像数据/视频数据进行显示。当AP在渲染时，若某一帧数据渲染性能不足(如渲染时间过长)，下一帧数据就会被丢掉，使得HMD就会显示与上一帧数据相同的图像数据。而一旦头部转动，相同图像的光线则会落在视网膜上的不同部位，从而导致画面抖动。此时，通过AP侧的图形处理器(Graphics Processing Unit，GPU)进行二次渲染处理，也就是直接对该帧的图像进行空间上的移位和扭曲以匹配头部转动，减小画面抖动。

但由于在二次渲染时，需要根据该帧图像对应的姿态信息与当前时刻HMD采集的姿态信息的信息差进行移位以匹配头部转动，也就是说需要将当前时刻采集的姿态信息无线传输至AP侧，而姿态信息在传输过程中存在传输时延，使得调整后的图像仍然无法匹配头部转动，因此，无法消除了因头部转动引起场景变化产生的画面绘制延时。

发明内容

本发明实施例所要解决的技术问题在于，提供一种图像处理方法、头戴显示器以及渲染设备，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。

本发明第一方面提供了一种图像处理方法，包括：头戴显示器向渲染设备发送头戴显示器在第一时刻的姿态信息，并接收来自渲染设备的视频数据，其中视频数据包括根据第一时刻的姿态信息渲染得到的图像数据，然后获取所述头戴显示器在第二时刻的姿态信息，第二时刻晚于所述第一时刻，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差调整该图像数据指示的图像，从而得到用于显示的调整后的图像。

在本发明实施例第一方面中，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。

结合第一方面，在第一方面的第一种实现方式中，所述方法还包括：头戴显示器向渲染设备发送用于指示第一时刻的第一时刻信息，其中，第一时刻信息与第一时刻的姿态信息绑定；在视频数据还包括与视频数据绑定的第一时刻信息时，头戴显示器通过获取与第一时刻信息绑定的在第一时刻的姿态信息，并根据第二时刻的姿态信息与所述第一时刻的姿态信息的信息差调整图像数据指示的图像。