[发明专利]采用拖延期的视频流的姿势预处理来减少平台功率

说明书

背景技术

最终用户的大多数计算机使用将最终用户连接到因特网，并且通过浏览接口发生。常见使用和活动包括例如基于搜索引擎的浏览、电子邮件、社交网络、内容消费（例如，新闻文章和视频观看）、内容共享（例如，照片、音乐等）、在线购物和购买、以及地图和方向，只列出一些。这样的常见因特网使用通常需要某个形式的基于用户的导航，例如典型地用鼠标或触摸板和关键词完成的导航。

在改进用户导航体验的努力中，已经产生基于姿势（gesture）的导航技术。特别地，用户手部运动可以由所谓的网络相机（webcam）记录并且转化成指针运动。结合网络相机操作的典型的基于姿势的导航应用能够模仿通常用常规鼠标或触摸板执行的动作：单击、双击、拖拉和滚动。用户还可使用头部运动来控制计算机或以其它方式影响导航。存在两个使用相机实现人体姿势的基本方法：使用具有所谓的标记的对象的姿势（其中在视场中部署的标记与相机传感器交互），以及无标记的姿势（例如无标记的手势）。可以使用典型用于大约3到5米（m）范围中的观察距离的三维或3D相机（具有Z深度），或典型用于在大约0.5m范围中的观察距离的两维或2D相机（从2D信息解释3D运动），来实现无标记的姿势技术。

计算环境（例如，桌上型计算机或工作站、膝上型计算机或平板计算机、或游戏控制台）中的图形处理通常需要多个复杂操作。这样的操作包括例如关于确保图像被适当并及时渲染的那些、以及关于姿势识别的那些。存在出现在这样的操作的上下文中的多个重要的问题。

发明内容

本发明一方面提供一种用于处理原始视频流的系统。该系统包括：阈值检测级，配置为确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且响应于所述当前帧没有充分不同于所述前一帧，所述阈值检测级还配置为停止后续级对所述当前帧的进一步处理；以及目标存在级，配置为确定所述当前帧是否包括肤色颜色的（colored）像素，并且响应于所述当前帧不包括肤色颜色的像素，所述目标存在级还配置为停止后续级对所述当前帧的进一步处理；其中所述阈值检测级和/或目标存在级中的至少一个能够在拖延期（hold-off period）被选择性禁用。

本发明另一方面提供一种用于处理原始视频流的系统。该系统包括：阈值检测级，配置为确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且响应于所述当前帧没有充分不同于所述前一帧，所述阈值检测级还配置为停止后续级对所述当前帧的进一步处理；目标存在级，配置为确定所述当前帧是否包括肤色颜色的像素，并且响应于所述当前帧不包括肤色颜色的像素，所述目标存在级还配置为停止后续级对所述当前帧的进一步处理；分割级，配置为接收来自所述当前帧的数据，并且将感兴趣的像素与不感兴趣的像素分开，其中感兴趣的像素被表示为二进制大对象（blob）并且不感兴趣的像素由非二进制大对象表示；手部分析器（parser）级，配置为执行从所述分割级接收的二进制大对象数据的空间解释；以及姿势识别级，配置为执行从所述手部分析器级接收的二进制大对象数据的时间解释并且识别用户基于手部的导航姿势；其中所述阈值检测级、目标存在级、分割级、分析器级和姿势识别级以分步的（stepped）分布式布置进行配置，并且所述阈值检测级和/或所述目标存在级中的至少一个能够在拖延期被选择性禁用。

本发明又一方面提供一种使用原始视频流的计算机导航方法。该方法包括：在第一处理级处确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且响应于所述当前帧没有充分不同于所述前一帧，停止后续级对所述当前帧的进一步处理；以及在第二处理级处确定所述当前帧是否包括肤色颜色的像素，并且响应于所述当前帧不包括肤色颜色的像素，停止后续级对所述当前帧的进一步处理；其中所述第一和第二处理级中的至少一个能够在拖延期被选择性禁用，所述拖延期在50到1000毫秒的范围中并且响应于没有作出导航姿势的指示而被触发，因此通过避免没有导航姿势的视频帧的处理来保存功率。

附图说明

图1a根据本发明的实施例用图形图示用于实施视频流的姿势预处理来减少平台功耗的分步的分布式过程。

图1b根据本发明的实施例图示图1a中分步的分布式过程的流程图。

图2a根据本发明的实施例图示配置用于实施视频流的分步的分布式姿势预处理来减少平台功耗的系统的框图。

图2b根据本发明的实施例图示来自图2a中示出的系统的不同级（stage）的控制和数据流。