[发明专利]利用多个LSR处理引擎的用于实时图像变换的无丢失高速缓存结构

说明书

本文中公开了用于提供改进的高速缓存结构和方法的系统和方法，高速缓存结构和方法的大小被最佳地确定以支持预定范围的后期调节，并且其中图像数据以消除从DRAM中重取输入图像数据并且使DRAM带宽和功率最小化的方式智能地从DRAM中被读出并且被高速缓存。系统和方法还可以适于与压缩图像数据和多个LSR处理引擎一起工作。

背景技术

混合现实是允许虚拟图像在显示器中与现实世界物理环境混合的技术。用于混合现实的系统可以包括例如具有内置相机的透视头戴式显示(HMD)设备或智能电话。这样的系统通常包括在一个或多个应用的控制下提供图像的处理单元。其中看不到任何现实世界对象的完全虚拟现实环境也可以使用HMD和其他设备来支持。

很多HMD还包括一个或多个前置相机，从用户的角度来看，前置相机捕获用户面前的环境。这样的前置相机可以是深度相机，其不仅捕获图像数据，还捕获有关用户环境的深度或表面数据。从前置相机捕获的图像数据可以由位于HMD上的板载处理器使用，以生成可以经由并入HMD中的用户显示器而绘制给用户的混合现实或虚拟现实显示数据。

在这样的系统中，用户的身体、特别是头部可以相对于虚拟环境实时地移动。例如，在混合现实应用中，如果用户将头部朝向一个方向倾斜，则他们将不期望图像或全息图随之倾斜。理想地，系统将测量头部的位置并且以足够快的速率绘制图像以消除用户感觉到的图像位置的任何抖动或漂移。然而，取决于GPU的质量和性能，典型的图形处理单元(GPU)当前仅以每秒30至60帧绘制帧。这导致在检测到头部位置的时间点与实际将图像输出到显示器的时间点之间的16到33毫秒的可能延迟。附加时延也可能与确定头部位置所花费的时间和/或GPU的帧缓冲与最终显示之间的延迟相关联。结果是在用户期望图像的位置与显示图像的位置之间的潜在的大的误差，从而导致用户不适。

为了减少或消除这种错误，现有系统可以应用后期校正，以在由GPU绘制之后但是在显示像素之前对图像进行调节，以便补偿因头部移动引起的旋转、平移和/或放大(下文中有时称为“后期状态调节”、“后期重投影”、“LRS”或“LSR调节”)。由于可以以高速率和高分辨率绘制帧，因此采用LSR的现有系统可能需要大量的DRAM带宽和功率。当然，在无线的电池供电的HMD的情况下，芯片尺寸以及带宽和功率要求可能非常重要。

本文中要求保护的技术方案不限于解决诸如上述任何缺点或仅在诸如上述环境中操作的实施例。而是，仅提供本背景以说明可以实践本文中描述的一些实施例的一个示例性技术领域。

发明内容

本文中公开了用于提供改进的高速缓存结构和方法的系统和方法，这些高速缓存结构和方法的大小被最佳地确定以支持预定范围的后期调节，并且其中以消除从DRAM中重取输入图像数据并且使DRAM带宽和功耗最小化的方式智能地从DRAM中读出并且高速缓存图像数据。

在一个实施例中，高速缓存结构的大小被最佳地确定以支持预定范围的后期调节，并且高速缓存结构被管理，使得：高速缓存/缓冲区可以仅获取每行输入图像数据一次以减少输入带宽；高速缓存可以容纳足以构造输出图像的多行(但是仍然比完整图像少得多)；高速缓存可以在需要之前预取数据，使得不对图像处理流水线增加任何附加延时；并且仅当不再需要构造输出图像时，高速缓存才可以逐出输入图像数据，而当不再需要时，高速缓存可以自动逐出输入图像数据。

在另一方面，输入图像数据最初可以以开始绘制输出图像所需要的顺序被写入高速缓存中。

在又一方面，输入图像数据可以以使从高速缓存中读出输出图像数据的顺序能够预测的方式被写入高速缓存中并且被组织。

在又一实施例中，高速缓存结构和方法可以适于与压缩图像数据一起使用。

提供本发明内容以便以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容既不旨在标识所要求保护的技术方案的关键特征或必要特征，也不旨在用于帮助确定所要求保护的技术方案的范围。