[发明专利]在图像序列中选择裁剪区域的方法、系统及存储介质

说明书

本发明涉及基于统计的电子图像稳定。用于在由摄像机(302)捕获的图像序列中选择裁剪区域的方法和装置，包括计算机程序产品。包括影响摄像机的移动的外部因素的数据的第一外部运动数据(202)与描述摄像机(302)的移动的内部运动数据(204)关联。在第一时间间隔期间获得第一外部运动数据(202)和内部运动数据(204)。在第一时间间隔之后的第二时间间隔期间获得第二外部运动数据(208)。通过基于关联和第二外部运动数据(208)选择裁剪区域来稳定在第三时间间隔期间捕获的图像序列。裁剪区域相对于在第三时间间隔期间的图像的视场保持恒定并且尺寸最大化。第三时间间隔在第二时间间隔之后或者与第二时间间隔部分重叠。

背景技术

本发明涉及摄像机，并且更具体地涉及由摄像机捕获的图像序列的电子图像稳定。

用于监控场景的监控摄像机通常被放置在由于不同的原因它们会受到振动的室外(有时室内)的位置。例如，突然的一阵风可能使摄像机抖动，或者附近经过的火车或重型卡车可能产生类似的效果。这些振动有时会使摄像机输出的视频模糊不清，使得视频对于实际目的或多或少是无用的。视频质量的改进使模糊图像的问题更加明显。增加的像素密度、更高的分辨率和更强大的变焦能力不仅使摄像机对振动更加敏感，而且还使观看者更容易受到影响并易于注意到它们。

一种用于减少振动的技术是使用更坚固的支架或更少暴露的位置来安装摄像机。另外两种技术是光学图像稳定(OIS)和电子图像稳定(EIS)，这两种技术都是在摄像机本身而不是其物理环境中实现的。OIS系统通常依靠摄像机中的陀螺仪或加速度计来检测和测量摄像机的振动，并且然后移动镜头或光学传感器来补偿摄像机和镜头的抖动，使得光线可以以如同摄像机未振动的方式来照射图像传感器。

EIS主要是为视频摄像机而开发。EIS依靠不同的算法来为摄像机运动建模，然后将其用于校正图像。可见图像的边界之外的像素用作运动的缓冲区，并且然后可以使用这些像素中的信息将电子图像从一帧到另一帧略微偏移足够的量，以抵消运动并创建稳定的视频流。为了在由摄像机捕获的图像序列上激活EIS，需要裁剪每个图像，使得在执行EIS时帧外像素(有时也被称为黑色像素)不被引入到图像中。

如果摄像机例如由于风或地面振动而在俯仰(pitch)、偏摆(jaw)或横摇(roll)方向中的一个或多个方向上移动，则还需要对这种俯仰、偏摆或横摇移动进行补偿。然而，如上所提及，与为了避免引入帧外像素而进行的裁剪相比，这种补偿可能导致裁剪图像的不同的方式。因此，在确定如何裁剪图像时，需要更好的技术来允许平衡EIS模式和可能的俯仰、偏摆和横摇移动。当期望裁剪(即裁剪区域)是图像序列中的图像的视场的稳定范围时，这是特别重要的。

发明内容

根据第一方面，本发明涉及一种在计算机系统中用于在由摄像机捕获的图像序列中选择裁剪区域的方法。该方法包括：

·将第一外部运动数据与内部运动数据关联，其中，在第一时间间隔期间获得第一外部运动数据和内部运动数据，其中，第一外部运动数据包括影响摄像机的移动的外部因素的数据，并且其中，内部运动数据包括描述摄像机的移动的数据；

·在第一时间间隔之后的第二时间间隔期间获得第二外部运动数据；以及

·通过基于关联和第二外部运动数据选择裁剪区域来稳定在第三时间间隔期间捕获的图像序列，第三时间间隔在第二时间间隔之后或与第二时间间隔部分重叠，其中，裁剪区域相对于在第三时间间隔期间由摄像机捕获的图像序列中的图像的视场保持恒定并且尺寸最大化。

总体而言，图像稳定通过更好地利用每个摄像机的潜力，例如当振动可能影响视频质量时，通过在变焦镜头中保持图像质量，使整个视频监控系统更加通用和成本高效。更具体地，本发明为摄像机用户提供了将诸如风、振动等的外部因素与来自摄像机中的传感器的内部读数关联的方式。了解外部振动如何影响内部传感器读数，以及了解响应于某些传感器读数需要哪种裁剪，可以在某种意义上预测响应于外部因素需要哪种裁剪，并且抢先做出任何这种调整。