[发明专利]叠加视频帧以增强图像亮度

说明书

一种增强视频帧亮度的方法包括：由处理器生成视频帧集合中每个视频帧的亮度直方图；对于所述视频帧集合中的每个视频帧，根据视频帧的所述亮度直方图确定与像素的预定最暗百分比匹配的相应像素以及与像素的预定最亮百分比匹配的相应像素；以及对所述视频帧集合中的每个所述视频帧应用线性校正以提供亮度增强，所述亮度增强修改以下群组中的至少一个：将与像素的所述预定最暗百分比相应的第一亮度修改为小于暗度阈值，将与像素的预定最亮百分比相应的第二亮度修改为大于亮度阈值，以及两者的组合。

相关申请的交叉引用

本申请是申请日为2020年8月6日、申请号为202080077751.7、发明名称为“叠加视频帧以增强图像亮度”的发明专利申请的分案申请，其要求2019年12月12日提交的题为“叠加视频帧以增强图像亮度”的美国专利申请No.16/712，715的优先权，在此将其全文引入作为参考。

背景技术

在黑暗环境中的视频呼叫可能会导致视频亮度不足，难以看到视频中的对象。手动增加显示器的曝光可导致对象的面部看起来过度曝光。使用计算成本高的硬件或软件解决方案来校正亮度则可可能由于计算负担而导致流视频的帧速率降低。

本文提供的背景技术是为了一般性地呈现本公开的上下文的目的。在此背景技术部分中描述了本发明的发明人的工作，以及在提交时可能不具有现有技术资格的描述的各方面，既不明确地也不隐含地承认作为本公开的现有技术。

发明内容

实施例通常涉及一种在流传输期间增强视频中的视频帧的亮度的方法。该方法包括由处理器确定第一视频帧具有低亮度。该方法还包括由处理器在第一视频帧中应用线性校正以提供第一亮度增强，该第一亮度增强将预定最暗像素百分比的第一亮度修改为小于暗度阈值，或者将预定最亮像素百分比的第二亮度修改为大于亮度阈值。该方法还可以包括由处理器利用对应于在先视频帧的亮度增强集合来对第一视频帧的第一亮度增强进行平均，以生成修改后的视频。

在一些实施例中，所述方法还包括：由与所述处理器不同的图形处理单元

(GPU)对所述第一视频帧进行缩小，其中所述第一视频帧存储在所述GPU的GPU存储器中，并且其中所述GPU存储器不能被所述处理器访问；由所述GPU将所述缩小后的第一视频帧传送到可由所述处理器访问的计算机处理存储器中；以及由所述处理器生成缩小的第一视频帧的亮度直方图，其中由GPU将线性校正应用到第一视频帧。在一些实施例中，被平均的视频帧集合中的视频帧的数量基于视频的帧速率或第一视频帧的输入亮度中的至少一个。在一些实施例中，基于环境光传感器值未达到第一阈值或指数移动平均帧亮度未达到第二阈值中的至少一个，来确定第一视频帧具有低亮度。在一些实施例中，将第一视频帧的第一亮度增强与对应于在先视频帧的亮度增强集合进行平均以产生经修改的视频。在一些实施例中，视频帧由耦接到处理器的摄像机捕获，并且该方法还包括由处理器确定经修改的视频是否满足亮度阈值，响应于确定该经修改的视频不满足亮度阈值，由处理器改变一个或多个摄像机设置，以及响应于确定该经修改的视频确实满足亮度阈值，显示经修改的视频。在一些实施例中，改变一个或多个摄像机设置包括增加曝光时间或修改图像传感器的灵敏度中的至少一个。在一些实施例中，该方法还包括对第一视频帧应用对比度受限自适应直方图均衡(CLAHE)。在一些实施例中，将CLAHE应用于第一视频帧包括：(a)将CLAHE应用于第一视频帧的亮度通道，(b)将CLAHE应用于第一视频帧的每个色度通道，以及(c)混合来自(a)和(b)的结果。在一些实施例中，该方法还包括通过计算帧集合的平均亮度的和的平方根来确定第一视频帧的总亮度，其中帧集合中的每个帧取平方数，确定乘数为0.5除以总亮度，以及通过将乘数乘以第一视频帧的输入值的平方和的平方根来确定最终输出值。在一些实施例中，确定总亮度包括确定第一总亮度超过阈值，响应于第一总亮度超过阈值，从该帧集合中移除第二帧，以及计算第二总亮度。