[发明专利]在交互式媒体环境中呈现和合成多个应用程序

说明书

相关申请声明

本申请要求2005年7月1日提交的临时申请第60/695,944号的优先权，该临时申请通过引用结合于此。

技术领域

所描述的安排、系统和方法一般涉及交互式媒体，尤其涉及在交互式媒体环境中呈现和合成多个应用程序。

背景

交互式媒体环境一般是在可用处理能力、存储器和对该环境中运行的应用程序可用的其它资源方面受到约束的资源。交互式媒体的一个常见示例是在DVD(数字多功能盘)上编码的视频，其中用户可以与图形菜单或其它控件交互以导航到特定的视频内容或调用被设计到DVD中的特殊特征。

在典型的交互式媒体环境中，诸如图形和菜单等可视元素被给予“Z顺序”，它为显示屏上的元素提供一视觉顺序。Z顺序控制可视元素如何显现为沿从该显示屏向外延伸的假想z轴一个堆叠在另一个上。具有较低Z顺序的可视元素显现为在显示的底部(并且远离观众)，而具有较高Z顺序的可视元素显现为在较低Z顺序元素之上(并且因此更接近观众)。

一般而言，当呈现用于显示的可视元素时，首先绘制较低Z顺序的元素，然后是较高Z顺序的元素。较高Z顺序的可视元素因此被绘制在较低Z顺序的元素上，且可能会遮蔽其一部分或全部。这样，显示能正确地显现，其中堆栈中的可视元素具有正确的重叠和相对顺序。然而，这种方法迫使资源聚焦在最底部的可视元素上(因为它们被最先绘制)，这可能是低效的。处理能力浪费在绘制低Z顺序的可视元素上，即使这些元素在完全绘出的情形中最终会被较高Z顺序的元素遮挡。这种低效可能会使系统资源负担过重，并且导致诸如视频回放中的中断以及该环境中视频和图形之间的同步等不合需要的播放器行为。

概述

在交互式媒体环境中，提供了一种模型，其中各自包括零个或多个脚本组件以及零个或多个标记文件的应用程序本身作为具有Z顺序的可视元素被处理。利用了一呈现顺序，其中在交互式媒体环境中具有焦点(根据其接收用户事件)的应用程序被首先呈现。然后以从顶向下的顺序，即以相反的Z顺序呈现其余的应用程序。呈现是通过绘制到与相应应用程序相关联的一个或多个图形缓冲区中来执行的。用于应用程序的帧从底向上以Z顺序从图形缓冲区中合成，以向显示提供正确外观。

在各个说明性示例中，回放系统中的导航管理器为运行在该回放系统上的应用程序维护Z顺序。演示引擎将应用程序绘制到应用程序标记中的画布对象上，该画布对象以相反的Z顺序按照应用程序被呈现到相应的图形缓冲区中。图形呈现引擎使用画家(Painter)算法以Z顺序按照应用程序从图形缓冲区中合成帧。应用程序还可调用各种方法以穿过堆叠在其上(即，具有较高Z顺序)的应用程序来可视地将应用程序可视元素从堆栈底部提升，或将元素下压到显示中更低的位置。

有利的是，将应用程序按照相反的Z顺序呈现到图形缓冲区中，之后按照Z顺序来合成显示在包括处理器周期和存储器在内的硬件资源一般受到限制的环境中提供了一种资源高效的模型。给予聚焦应用程序和较高Z顺序的应用程序更自然的优先级，使得在绘制最终可能会被覆盖绘制并遮蔽的较低Z顺序的可视元素时花费更少的资源。

附图简述

图1是示出构成在交互式媒体环境中使用的应用程序的元素的说明性框图；

图2是示出多个标记文档和脚本之间的关系的图示；

图3是包括交互式内容处理器、视频内容处理器和混合器的说明性交互式媒体播放器的框图；

图4是第二说明性交互式媒体播放器的框图；

图5是具有多个事件队列和单个应用程序线程的说明性安排的框图；

图6是一说明性事件队列的框图，它示出了首先按照开始时间，然后按照工作项被插入到事件队列中的时间对工作项的排序；

图7是应用程序线程自动将两个工作项插入到事件队列的结尾处的说明性安排的框图；

图8是用于将与交互式媒体环境中发生的事件相关联的工作项排队的说明性方法的流程图；

图9是在交互式图形合成模型中使用的一组平面的框图；

图10是示出第一说明性应用程序中的可视元素的Z顺序的图示；

图11是示出第二说明性应用程序中的可视元素的Z顺序的图示；

图12是示出具有从图10和11所示的应用程序生成的可视元素的合成显示的图示；

图13是示出其中应用程序按照优先级顺序来呈现并以从底向上的顺序来合成的说明性安排的图示；

图14是其中应用程序以优先级顺序来呈现并以从底向上的顺序来合成的说明性方法的流程图；以及

图15是一说明性回放系统的框图；。

详细描述