[发明专利]用于开发和播放自然用户接口应用的方法和装置

权利要求书

1.一种具有处理单元和存储设备的装置，该装置包括：

自然用户界面(NUI)开发平台，用于开发NUI应用，该开发平台包括：

设计管理器，用于指示至少一个NUI对象和至少一个图形对象，使得至少一个图形对象被设计成在执行NUI应用时，基于NUI设备捕捉的并且与至少一个NUI对象关联的对象的移动，跟踪至少一个NUI对象的移动；

交互管理器，用于管理至少一个NUI对象和至少一个图形对象之间的交互动作；和

NUI管理器，用于定义NUI设备，使得通过执行NUI应用的计算平台支持NUI设备，

其中NUI应用被图形方式地开发，并且

其中，当执行NUI应用时，NUI应用使用NUI设备并且显示所捕捉的NUI对象。

2.根据权利要求1所述的装置，其中，至少一个图形对象被设计成在至少一个NUI对象上定义的至少一个跟踪点上、或者在包括至少三个跟踪点的至少一个跟踪区域上跟踪至少一个NUI对象。

3.根据权利要求1所述的装置，其中，设计管理器被提供用于在至少一个NUI对象上指示参考点，从而能够确定至少一个NUI对象上的至少一个跟踪点与至少一个图形对象上的多个位置之间的相对位置。

4.根据权利要求1所述的装置，其中，图形对象与和物理特性有关的钉住点相关联，使得当执行NUI应用时，至少一个图形对象或者它的一部分根据物理性质跟踪至少一个NUI对象。

5.根据权利要求1所述的装置，其中，至少一个图形对象选自由物理对象的三维表示、物理对象的二维表示、图像、视频信号、音频信号、绘画、图解以及记录的对象组成的组。

6.根据权利要求1所述的装置，其中，NUI设备选自由网页照相机、深度照相机、Kinect^TM设备、遥控器、黑莓leap手机、触控戒指(ringbow)、EEG头盔、设备、智能电话、平板电脑、XTION、微软公司的Digits、微软公司PixelSense、智能窗口、谷歌眼镜、摩托罗拉HC1、照相机、以及装备有触控传感器的计算平台组成的组。

7.根据权利要求1所述的装置，进一步包括姿态管理器，用于定义NUI设备的系统中可用的姿态。

8.根据权利要求1所述的装置，进一步包括无源媒体管理器，用于处理无源媒体，该无源媒体管理器包括媒体编码器，用于将识别符与视频信号关联。

9.根据权利要求1所述的装置，其中通过至少一个交互对象提供交互动作。

10.根据权利要求9所述的装置，其中，当执行NUI应用时，至少一个交互对象与编程命令关联。

11.根据权利要求1所述的装置，其中，交互管理器提供至少一个连接器类型，至少一个连接器类型中的每个与条件语句关联。

12.根据权利要求1所述的装置，其中，至少一个NUI对象与预定的姿态有关，并且用类似流程图的可视编程、通过连接器被连接到至少一个交互对象。

13.根据权利要求1所述的装置，其中，开发平台为开发者提供人体或者它的一些部分的视觉表示，以及用来在视觉环境中编辑实时视频的工具。

14.根据权利要求1所述的装置，其中，开发平台提供对象记录，使得对象一旦被NUI设备捕捉到就可以识别出该对象。

15.一种具有处理单元和存储设备的装置，该装置包括：

用于执行NUI应用的播放器，该播放器包括：

用于从NUI设备接收输入的NUI控制器；

解码器，用于识别从NUI设备接收到的输入中的姿态；

本地交互媒体存储器，用于存储图形对象；以及

交互媒体执行器，用于将图形对象与输入集成，使得通过NUI设备捕捉的图形对象和NUI对象被显示，并且图形对象根据NUI对象的姿态来跟踪输入中识别出的NUI对象。

16.根据权利要求15所述的装置，其中，播放器进一步包括物理引擎，用于在对NUI对象起作用时，执行在图形对象上限定的物理特性和动作。