[发明专利]向用户通知其视线外的他人作出的姿势的方法与系统

说明书

技术领域

本发明一般涉及改进的姿势识别。具体地，本发明涉及从由一个或多个图像捕获设备捕获的三维图像流检测由用户视线外的其他人作出的姿势、并且向用户通知该由用户视线外的其他人作出的姿势。

背景技术

人们并不是仅仅通过话语来进交流；非口头的姿势和面部表情都是重要的交流手段。例如，代替说“是”，一个人可以点头以非口头地传达肯定的回答。在另一示例中，尽管一个人可以说“是”，但是也可以同时来回摇头以表达“不”，向听众指示所说的话语“是”并不是完全的肯定并且可能需要听众对说话者意图进行进一步询问。因此，取决于交流的背景，非口头的姿势可以强调或否定相应的口头交流。

在一些情况下，尽管说话者可以使用非口头的姿势进行交流，但是听众可能没有用以观察说话者的非口头交流的视线。在交流过程中缺少视线的一个示例中，具有某种视力缺陷的人可能不能观察到另一个人的姿势。在交流过程中缺少视线的另一个示例中，两个或多个人通过电子通信而进行交流，例如无论是通过电话、通过文字消息、还是在即时消息发送会话期间，通常没有用以观察相互的非口头交流的视线。

在用以提供包括口头交流和非口头交流的长距离交流的一项尝试中，一些服务提供者支持视频会议。在视频会议期间，每个参与者的计算机系统处的视频摄像机捕获用户的视频图像流并将该视频图像流发送给服务提供者。该服务提供者然后将每个参与者的视频图像流分发给其他参与者的计算机系统以供其他参与者观看。然而，即使当两个或多个人通过视频会议通信时，观看两维视频图像是检测非口头交流的受限手段。具体地，对于要被适当解释的姿势而言，可能需要三维视野(sight)。另外，当与具体对象相关地作出姿势时，两维视频图像可能不能给观看者提供适当的观察(perspective)以理解通过与具体对象相关的非口头的姿势正在传达什么。进一步，以较小运动作出的姿势，诸如面部表情，经常难于从两维视频图像中检测出来，以理解非口头地传达了什么。例如，可以从一个人向前伸下巴而检测出这个人生气，但是难于从两维视频图像中检测到人的下巴的位置的变化。

考虑到上述情况，需要一种下述的方法、系统以及程序，其用于检测参与与不具有第一用户的直接视线的第二用户的交流的第一用户的三维运动，适当地从所检测的运动中识别姿势，并且将该姿势传达给第二用户。

发明内容

因此，本发明从三维捕获图像提供改进的姿势识别。具体地，本发明提供从由一个或多个图像捕获设备捕获的三维图像流检测由用户视线外的其他人作出的姿势、以及向用户通知由用户视线外的其他人作出的姿势。

在一个实施例中，姿势使能的电子通信系统向用户通知由参与通信会话的其他用户作出的姿势。该系统捕获参与电子通信会话的多个用户中的第一用户的三维运动，其中使用瞄准第一用户的至少一个图像捕获设备来确定该三维运动。该系统使用所捕获的运动识别三维对象属性流，然后通过将所识别的三维对象属性流与多个电子通信姿势定义进行比较来识别表示三维对象属性流的具体的电子通信姿势。响应于从多个电子通信姿势定义中识别具体电子通信姿势，该系统向参与电子通信会话的用户传输与所识别的电子通信姿势相对应的电子对象。

在捕获第一用户的三维运动中，该系统可以使用立体视频捕获设备来捕获三维运动，以识别并跟踪具体三维动作。另外，在捕获第一用户的三维运动中，该系统可以使用至少一个立体视频捕获设备和至少一个传感器使能的设备来捕获三维运动，以检测所检测的运动对象在三维运动中的深度。此外，在捕获第一用户的三维运动中，当第一用户通过主动说话和主动打字之一来主动参与电子通信会话时，该系统可以捕获第一用户的三维运动。

此外，在识别表示三维对象属性流的具体的电子通信姿势中，该系统计算所捕获的三维运动表示在具体电子通信姿势中定义的具体姿势的百分比可靠度。该系统还调节输出对象的至少一个输出特性以表达该百分比可靠度。

在向用户传输电子对象时，该系统可以在电子通信会话中传输电子对象作为第一用户的一个输入。此外，在向用户传输电子对象中，该系统可以将电子对象作为命令传送给触觉可察觉(tactile detectable)的设备，以输出表示所识别的电子通信姿势的具体触觉可察觉输出模式。