[发明专利]视频数据的基于注视方向的自适应预滤波

说明书

多层低通滤波器用于滤波表示个体的环境的至少一部分的视频数据的第一帧。滤波器的第一层具有用于第一帧的第一子集的第一滤波分辨率设置，而滤波器的第二层具有用于第二子集的第二滤波分辨率设置。第一子集包括沿个体的注视方向定位的数据元素，并且帧的第二子集围绕第一子集。滤波的结果被压缩并经由网络传输到视频处理引擎，该视频处理引擎被配置为生成环境的修改的视觉表示。

技术领域

本公开整体涉及用于处理和传输视频数据的系统和算法。

背景技术

随着视频捕获技术的改进以及成本的降低，越来越多的带有视频部件的应用程序变得流行。例如，混合现实应用程序(可以在其中使用虚拟对象或相关补充信息来增强现实世界物理对象或视图的应用程序)和/或虚拟现实应用程序(用户可以在其中穿越虚拟环境的应用程序)，在两者中视频数据都是可以捕获和操纵的，越来越成为开发和商业化的焦点。对于至少一些应用程序，可以在除视频捕获设备本身之外的设备处处理表示环境的视频数据。也就是说，视频数据可能必须通过网络路径(诸如无线链路)传输，该网络路径可能相对于原始视频数据的捕获速率具有相对较低的带宽容量。取决于应用程序的视频保真度要求，在受限的网络路径上管理视频数据流，同时保持用户对应用程序的高度满意可能存在不小的技术挑战。

发明内容

本公开描述了用于视频数据的基于注视方向的预滤波的方法和装置的各种实施方案。在至少一些实施方案中，滤波技术可以利用以下事实：人类视觉系统中的视敏度或感知精度通常作为远离注视的中心方向的角距离的函数而减小-与使用视网膜的远离中心定位的区域(称为中央凹)的部分所感测的场景部分相比，使用视网膜的中央凹所感测的可见场景部分通常被认为具有更高的清晰度。考虑到这种生物现象，在各种实施方案中，可以使用可配置的多层低通滤波器对要在网络上传输的视频数据进行预滤波 (压缩之前)，其中相对于关于注视方向的内部或中心区域，以较低的分辨率设置对可见场景的外部或外围区域进行滤波，从而有助于减少必须通过网络传输的数据总量。

根据至少一个实施方案，一种方法可以包括例如使用指向个体的眼睛的头戴式设备(诸如头戴式耳机或头盔)的一个或多个传感器来跟踪该个体的注视方向。该方法可包括使用多层低通滤波器来对表示个体的环境的至少一部分的视频数据的一个或多个帧进行滤波。在各种实施方案中，被滤波的视频数据的给定帧可以包括一个或多个物理对象和/或虚拟对象(例如，由虚拟现实或增强现实应用程序生成的对象)的表示。在各种实施方案中，滤波器可以包括至少两层：第一层，其具有用于给定视频数据帧的第一子集的第一滤波分辨率设置；以及第二层，其具有用于给定帧的第二子集的第二滤波分辨率设置。在各种实施方案中，可以基于个体注视的方向来动态地选择使用相应的滤波器层滤波的任何给定帧的部分。例如，相对于给定帧，该帧的第一子集(对应于具有最高分辨率的滤波器层)可以包括位于与注视的中心方向对应的区域中的数据元素，而该帧的第二子集 (对应于具有较低分辨率设置的滤波器层)可以对应于围绕第一子集的区域。在一些实施方案中，在使用多层低通滤波器滤波诸如帧的给定视频数据集之后，可以压缩该数据并将其经由网络传输到视频处理引擎。

在至少一个实施方案中，视频处理引擎可以被配置为生成环境的修改的视觉表示-例如，通过用虚拟对象或关于可见的现实对象的补充信息来增强原始查看的场景，并将修改版本发送给个体查看。在各种实施方案中，当个体与可见环境互动(在一些实施方案中可以包括现实对象和虚拟对象的混合，并且可以称为混合现实环境)时，个体注视的方向可以从一组显示/可见帧改变成另一组。在此类实施方案中，可以确定个体注视的修改方向，并且随着注视方向改变，可以选择视频帧的不同子集来使用各个层进行处理。也就是说，如果将使用滤波器的特定层进行滤波的给定帧的子集与不同帧的子集(在个体改变了注视方向之后)进行比较，则第二子集在其帧内的相对位置可以与第一子集不同。

在各种实施方案中，注视的跟踪、视频数据的预滤波以及滤波器结果的压缩都可以在可穿戴设备的部件(例如，使用传感器与其他硬件和软件的组合)处执行，诸如混合现实应用程序环境或系统或虚拟现实应用程序或系统的头戴式显示器(HMD)。例如，可以使用可穿戴设备经由诸如无线或有线连接之类的网络路径与之通信的基站来执行视频处理。