[发明专利]用于选择性图像捕获、传输和重构的系统和方法

说明书

技术领域

本发明一般涉及视频和数据通信，并且特别涉及在要求低带宽和低功率中任一个或同时两个的应用中捕获、传输和重构高分辨率视频数据。

背景技术

在通信信道上的高分辨率视频图像的传输要求大量信道带宽。所述大带宽要求是由于为传送高分辨率视频数据所需的高数据率，特别是由于许多应用所需的视频图像信息内容被从640×480(NTSC)增加到1920×1080(HDTV)和更高。数字视频照相机现在可以捕获比HDTV大四倍的图像。所述大带宽要求是必要的，除非例如压缩的技术被应用于所述视频数据。传送视频数据信号的问题在下述情形中被进一步增加，其中可用信道带宽在所述视频数据的捕获、传输和重构的各个阶段不同、或其中可用信道带宽可以随时间改变。对于便携式成像应用，功率消耗是主要问题。视频成像系统中的功率消耗主要取决于所处理的视频像素数据的量，并且应用于成像链的所有部分，即捕获、压缩、传输和重构。因此，减少带宽和功率要求仍然是视频通信领域中的重要目的。

一种用于减小视频传输中的带宽要求的通用方法是使用图像压缩。压缩技术典型地通过针对给定应用和图像内容的本质所选定的压缩比以及得到的图像质量来压缩整个图像。压缩方法可以适于响应于图像方面的改变，然而，这些方法不能被认为是例如由人类观测者的视觉系统实施的视频图像的智能处理。

在所述人类视觉系统中，大量感光器被集中到眼睛的有凹区域。随着眼睛在图像中的各个感兴趣区域之间快速移动，仅固定点附近的小图像区域被人类视觉系统处理以包含高分辨率图像信息。压缩技术处理整个图像，即使仅小的感兴趣区域需要包含高分辨率视觉数据。在一些系统中，尝试通过创建整个视场中的图像的放大部分来增强图像内容。然而，所述放大区域必须阻隔相邻、未放大的背景区域。对于监视(surveillance)应用，放大区域的使用降低了状况感知，并且对于其它成像应用，放大区域的使用降低了导航能力。

已作出努力来创建有凹(foveated)显示和支撑系统来降低数据速率。这些系统显示感兴趣区域中的更多图像信息内容，其中，所述感兴趣区域的位置通过用户佩戴的眼球跟踪设备设定。典型地，过滤器被应用于视频数据以定义所述感兴趣区域，在所述感兴趣区域中，对于距所述感兴趣区域中心较远的像素数据，图像质量逐渐下降。

总体上，为创建有凹显示的努力对于许多应用仍然未令人满意。如果图像捕获设备和显示器之间的距离大到足以导致大于几毫秒的信号时延，则包含眼球跟踪设备的系统的使用是非常受限的。眼球跟踪设备倾向于是笨重、昂贵的，并且要求高性能的刻度。

传统有凹视频成像系统不提供实时控制来向视频图像数据的各个部分分配可用带宽，或适于可用带宽的改变。这些系统不提供对视频数据的各部分的分辨率的独立控制，即空间采样、时间采样、压缩和颜色位深度(bit-depth)。最后，这些系统中没有任何一个包含提供使用数字视频数据的部分帧打包、编码或加密的、适于在网络上的无线传输或者有线传输的缓存视频数据。对于监视应用，通过用于监视和跟踪目标的用户或其它软件控制来具有多个感兴趣区域的无缝图像呈现是很重要的。

因此，需要一种要求相对较少带宽和功率的视频通信系统。所述系统将需要能够提供对视频数据的各部分的分辨率的独立控制，即空间采样、时间采样、压缩和颜色位深。

对优化视频成像系统中的带宽利用的需求已存在了一段时间。早期工作集中在视频应用中为高效使用带宽的空间和时间采样(例如，属于Brown的美国专利4,004,084)以及图像分割(例如，属于Brown的美国专利4,494,144)。另一方法处理其中在用户视觉系统固定点附近提供更多图像信息内容的有凹显示。例子有：属于Yamaashi的美国专利5,621,429和美国专利5,880,728、属于Hazra的美国专利6,178,204、属于Geisler的美国专利6,252,989。然而，该方法使用固定、自动信号处理来最小化强制约束中的带宽要求。

发明内容

在本发明的一方面中，一种视频处理系统和方法被公开，其用于捕获、传输和重构视频图像，以及为减少带宽和功率要求的目的，除所述图像数据外还传输捕获和控制参数。在本发明的一方面中，视频图像视场中的多个感兴趣区域可以被用户或软件监视应用定义和控制。所述感兴趣区域在不遮蔽相邻背景图像部分的情况下被无缝地呈现在显示器上，其类似于有凹显示。