[发明专利]使用声明式图形服务器渲染图像

说明书

在一个实施例中，一种用于渲染操作系统内的对象的方法包括从在操作系统上执行的应用程序接收多个数据结构。每个数据结构包括一个或多个对象的声明式定义，该一个或多个对象在体积空间内、要被显示给操作系统的用户。操作系统可以生成包括每个数据结构的声明式定义的渲染图，并且可以使与每个数据结构相关联的对象的图像基于渲染图和用户相对于体积空间的姿势被渲染。

技术领域

本公开总体上涉及计算设备的操作系统。

背景技术

被设计为在二维(2D)空间内显示2D对象的常规操作系统通常包括应用程序，每个应用程序创建对象的相应的2D帧缓冲区。系统软件(例如，诸如窗口管理器)然后可以将由每个应用程序创建的2D帧缓冲区放置到用于用户的内聚2D显示器中。该方法对于2D显示器来说可能就足够了，因为由应用程序创建的2D帧缓冲区通常不需要响应于用户取向或视角的改变而改变。然而，对于被设计为在三维(3D)空间(例如，诸如人工现实环境)内显示3D对象的操作系统，当用户与3D环境交互时，空间内的对象可能需要更新后的外观或视角。典型的解决方案可以是要求每个应用程序反复地创建新的对象，例如，用于对象的新的帧缓冲区，该新的帧缓冲区容纳每个更新，操作系统然后可以将新的对象放置到更新后的3D环境中。然而，这种解决方案在功率消耗方面是不切实际的，因为它需要应用程序不断地运行以提供更新后的内容，并且进一步需要要被存储并且从存储器读取的新的帧缓冲区。为了减少创建的新的帧缓冲区的数目，这种解决方案可以允许应用程序共享图形处理单元帧缓冲区的单个集合。然而，这会带来固有的安全风险，因为每个应用程序都可以访问其它应用程序的输出。此外，当运行时，应用程序与图形处理单元在其中独立地通信的操作系统可能彼此匮乏或占用图形处理单元。这可能导致3D环境内的延迟。

发明内容

在特定实施例中，操作系统可以采用声明式图形服务器来为客户端提供关于图形渲染的服务。客户端可以是在操作系统中运行的应用程序，每个应用程序描述要由声明式图形服务器渲染的对象或多个对象。每个应用程序都可以实例化声明式图形服务器库，应用程序可以使用该声明式图形服务器库来构建由对象(例如，2D对象、3D对象、字符串等)的声明式定义组成的数据结构，该数据结构描述当用户与人工现实环境中的对象交互时应当如何将对象呈现给用户。例如，每个应用程序都可以经由进程间通信通道将其数据结构(例如，场景图)异步地传输到声明式图形服务器，例如，声明式图形服务器可以包括附加的资产，诸如，图像、视频对象和/或网格。

在特定实施例中，声明式图形服务器然后可以以n叉树的形式构建渲染图，n叉树由从每个应用程序接收到的数据结构组成。渲染图形中的每个节点可以包括对象的声明式定义。声明式图形服务器可以通过遍历每个节点、指示图形处理单元渲染由节点定义的对象、以及描述对象如何随着用户改变姿势或以其它方式与对象交互而改变外观来处理渲染图。一旦渲染图已经被处理，则可以在人工现实环境中为用户显示由每个应用程序描述的对象的合成(composite)。此外，对象可以基于用户的姿势改变外观，而无需应用程序提供附加的数据结构。这提供了最小的功率消耗，因为每个应用程序可以向声明式图形服务器提供描述对象的数据结构，并且声明式图形服务器因此可以指示图形处理单元代表应用程序渲染对象。因此，应用程序可以进入低功率模式(例如，睡眠模式)，直到可能发生某些事件为止。

本说明书中描述的主题的创新方面可以被体现在系统、方法和计算机可读非瞬态存储介质中，该系统、方法和计算机可读非瞬态存储介质用于：由操作系统从在操作系统上执行的多个应用程序接收多个数据结构，其中多个数据结构中的每个数据结构包括一个或多个对象的声明式定义，该一个或多个对象在体积空间内、要被显示给操作系统的用户；由操作系统生成渲染图，该渲染图包括多个数据结构中的每个数据结构的声明式定义；以及由操作系统使与多个数据结构中的每个数据结构相关联的一个或多个对象的一个或多个图像，基于渲染图和用户相对于体积空间的姿势被渲染。