[发明专利]用于视频插帧的方法、装置及设备

说明书

本公开的实施例提供了用于视频插帧的方法、装置及设备，涉及多媒体处理领域。在本公开的用于视频插帧的方法中，获取第一时间的第一图像、第二时间的第二图像以及由动态视觉传感装置采集的传感数据，传感数据包括第一时间和第二时间之间的动态事件数据。基于第一图像、第二图像以及传感数据确定至少一个目标图像，至少一个目标图像为第一时间和第二时间之间的至少一个目标时间对应的图像。由此，利用动态事件数据来帮助弥补已有的图像数据所缺失的运动信息，实现对中间图像的准确预测，提升图像预测效果。

技术领域

本公开的实施例主要涉及多媒体处理领域，更具体地，涉及用于视频插帧的方法、装置及设备。

背景技术

“视频插帧”指的是在原始的相邻帧之间预测和插入一个或多个中间帧，从而获得更高帧率的视频。目前视频插帧技术已经得到很多的研究关注，其突破录制视频的时间分辨率限制，在慢动作生成、视频编辑、虚拟现实等众多任务中显示出巨大的潜力。例如，人们对终端设备的视频图像的帧率和内容丰富度的要求越来越高，但普通相机拍摄的视频帧率受物理机理极限的限制，不能提供高帧率的视频，因此需要视频插帧技术进行终端设备的视频图像增强。此外，明确主流的电影帧率多为低帧，在面对高的刷新率时，在一些高速场景下容易出现画面的不连贯与模糊，极大影响消费者体验。在这种情况下，也可以通过视频动态插帧技术来提供更高帧率的视频。此外视频动态插帧技术还可以在一定程度上改善手机端高帧率视频内容短缺问题。

发明内容

本公开的实施例提供了一种用于视频插帧的方案。

在本公开的第一方面，提供了一种用于视频插帧的方法。该方法包括：获取第一时间的第一图像、第二时间的第二图像以及由动态视觉传感装置采集的传感数据，传感数据包括第一时间和第二时间之间的动态事件数据；以及基于第一图像、第二图像以及传感数据确定至少一个目标图像，至少一个目标图像为第一时间和第二时间之间的至少一个目标时间对应的图像。

根据本公开的实施例，利用动态事件数据来帮助弥补已有的图像数据所缺失的运动信息。通过光流估计，可以获得更多非线性运动信息，从而保证可以插出复杂场景中的非线性运动信息，实现对中间图像的准确预测，预测出更好效果的图像。

在第一方面的一种实现方式中，至少一个目标图像包括与第一时间和第二时间之间的第一目标时间对应的第一目标图像，并且基于第一图像、第二图像以及传感数据确定至少一个目标图像包括：基于传感数据中的第一部分传感数据确定从第一目标时间到第一时间的第一光流，其中，第一部分传感数据包括第一时间与第一目标时间之间的动态事件数据；基于传感数据中的第二部分传感数据确定从第一目标时间到第二时间的第二光流，其中，第二部分传感数据包括第一目标时间与第二时间之间的动态事件数据；以及基于第一光流和第二光流对第一图像和第二图像执行插帧操作，以获得第一目标时间对应的第一目标图像。以此方式，可以通过利用动态事件数据来估计两个时间点之间的光流，从而可以利用光流法来实现插帧。

在第一方面的又一种实现方式中，基于第一光流和第二光流对第一图像和第二图像执行插帧操作包括：基于第一光流，将第一图像转换为第一中间图像；基于第二光流，将第二图像转换为第二中间图像；以及合并第一中间图像和第二中间图像，以获得第一目标图像。以此方式，可以通过从已知的起始时刻和结束时刻到中间时间点的图像转换，来实现获得预测的中间时间点的图像，进而用于合并成目标图像。

在第一方面的又一种实现方式中，合并第一中间图像和第二中间图像以获得第一目标图像包括：基于第一图像、第一部分传感数据和第一中间图像调整第一光流，以得到第一调整光流；基于第一调整光流，将第一图像转换为第三中间图像；以及合并第三中间图像和第二中间图像以获得第一目标图像。通过调整光流，可以获得更准确的运动信息，以实现更好的图像生成。