[发明专利]具有用于图像数据统计的基于多帧的窗口的相机控制和图像处理的方法和系统

说明书

方法、系统、和制品涉及具有用于图像数据统计的基于多帧的窗口的相机控制和图像处理。

背景技术

在诸如智能手机之类的多功能设备上或者在专用数字相机上的数字图像处理设备使用自动特征来提高图像的质量，诸如在数字相机上的预览屏幕以及所记录的图像和所记录的视频。这包括用于设置参数以捕获图像的特征，诸如自动对焦(AF)和自动曝光控制(AEC)的3A特征。这还包括在处理被捕获的图像期间修改图像数据的其他特征(诸如3A自动白平衡(AWB)特征以及其他非3A特征)，或使用帧的统计信息的算法(诸如用于动态范围转换的局部色调映射和全局树映射(LTM和GTM)，以及数字视频稳定(DVS))。

数字图像处理设备使用AWB以便为从被捕获的图像再现的图片提供准确的颜色。AWB是找到或定义图片中称为白点的白色的过程。图片中的其他颜色相对于白点被确定。尽管存在图像场景的色温差或颜色分量的不同的灵敏度，AWB相对于彼此调整不同的颜色分量(例如，红色、绿色和蓝色)的增益以将白色对象呈现为白色。

自动对焦自动地调整相机透镜位置以提供在被视频记录的场景中对象的合适对焦。在各种实现方案中，数字相机可以使用相位检测自动对焦(PDAF)(PDAF也被称为相位自动对焦或基于相位的自动对焦)、基于对比度的自动对焦或两者。相位检测自动对焦分离通过相机透镜的左光线和右光线以感测左图像和右图像。比较左图像和右图像，并且可以使用相机传感器上图像位置的差异来确定用于自动对焦的相机透镜的移位。对比度自动对焦测量多个透镜位置上的亮度对比度，直到达到最大对比度。相机传感器的相邻像素之间的强度差异自然地随着正确的图像对焦而增加，使得最大对比度指示正确的对焦。AF的其他方法也可以被使用。

自动曝光控制用于自动地计算和调整捕获和生成良好质量的图像所必需的正确曝光。曝光是由传感器捕获的入射光的量，且可通过调整相机的光圈大小和快门速度以及中性密度(ND)滤光器控制(当存在时)和闪光灯功率来调整曝光，其中一些可以是电子系统而不是机械设备。当机械快门速度不够快以用于最亮的照明条件时，ND滤光器有时与机械快门一起使用。AEC也可以计算模拟增益和数字增益(当存在时)，该模拟增益和数字增益放大由所使用的曝光时间所产生的原始图像信号。曝光参数一起确定了本文称为总曝光的总曝光时间。增益影响从相机传感器出来的原始(RAW)图像的信号电平或亮度。如果总曝光太短，图像将显现得比实际场景更暗，这被称为曝光不足，并且如果信号低于本底噪声或被量化为零则图像可以是如此曝光不足以致会丢失。在另一方面，如果总曝光过长，则输出图像将显现得比实际场景更亮，这被称为曝光过度。两种情况都可以导致细节的损失，导致较差的图像质量。

为了执行由诸如上文提及的LTM和GTM之类的其他算法提供的这些3A调整和处理修改，相机系统将捕获帧的原始图像数据，并将原始图像数据提供到一个或多个处理器(诸如图像信号处理器(ISP))。ISP然后对原始图像数据执行计算以生成基本上指示亮度和/或色度像素值的范围和位置的被捕获图像的3A统计信息，或者基于亮度和/或色度值提供其他统计表、映射和/或图。这些3A和其他统计信息是针对视频序列的单个帧以及基于逐帧而生成的。然后可以使用统计信息以生成新的参数以便为后续帧设置3A和其他控制的相机设置。

同样在传统的数字相机系统中，消耗一定量的时间来生成3A和其他统计信息，从保存图像数据和/或其他统计信息的存储器(诸如动态随机访问存储器(DRAM))来回转移数据，并计算新的3A参数以应用于相机设置以用于捕获下一个图像，或修改图像数据以用于显示图像。此时间量通常花费太长的时间，导致应用新的3A参数的等待时间，使得不是在分析当前帧之后将新参数应用于下一帧，而是直到与当前被分析的帧相距至少两个帧或三个帧才应用新参数。这种延迟可能导致对用户明显的较低质量的图像。一些“运行中(on-the-fly)”的系统试图通过减少存储器事务并且不管分析是否完成都将新参数应用于下一个帧来解决这个问题。然而，这也可以导致明显的伪像和较低质量的图像。

附图说明