[发明专利]一种高帧率视频合成方法、装置、设备和存储介质

说明书

本发明公开了一种高帧率视频合成方法、装置、设备和存储介质，获取一帧图像和以该图像采集时刻到截止时刻的一段不定数量的事件序列；将事件序列拆分成设定份数；将每份事件数据流表示为能够作为网络输入数据的表示形式；图像和第一个事件表示输入至隐帧合成模型，经由该模型中连接在一起的多个模块的运算，模型输出合成的图像帧，作为合成的高帧率视频中除输入图像外的第一帧；重复上一步骤，将剩余的事件表示按照顺序分别输入至隐帧合成模型中，模型输出的多帧图像帧按照顺序合并作为高帧率视频合成结果。本发明方法基于高分辨率传统彩色快门相机图像数据，结合使用仿生视觉传感器的事件数据，将两种传感器优势互补，进而实现高帧率高质量的视频合成。

技术领域

本发明属于视频处理技术领域，具体涉及一种视频合成方法、装置、设备和存储介质。

背景技术

人眼是没有“帧率”这一概念的，我们的眼睛不是一个高速拍照的摄像机。而传统相机的运作方式是等时间间距采样，每一张拍摄画面成为一帧，这种“间断”的拍摄方式会带来很多问题，尤其是很多计算机视觉算法需要逐帧处理图像，提高帧率将带来更大的计算量，这一缺点在拍摄高速运动的物体时相当明显。传统计算机视觉因此饱受冗余数据的困扰，无法进行高效且低功耗的运动目标分析。而人类因为清晰的视网膜细胞分层和不同视觉通道，具有超高的分辨率、灵敏的响应速度、强大的并行处理能力，功耗也非常低，能够对场景中的特征信息进行提取而不是单纯的如同普通快门相机那样对光照强度进行绝对的数值化呈现，这些优点是目前快门相机无法做到的。

事件相机(Event-based Camera)也称动态视觉传感器，它是一种仿生传感器，能够异步输出每个像素的亮度变化。作为一款新兴的仿生视觉传感器，因其异步输出每个像素的亮度变化与否的特性，在很多传统相机的挑战性场景如高速运动和高动态范围等场景展现出了极大的应用潜力。事件相机具有高时间分辨率、低延迟(均在微秒级)、低功耗、低带宽和高动态范围(通常为140dB左右，传统帧快门相机一般为60dB)等优点，并且具有没有固定观察频率、像素电路间并行处理、硬件完成动态特征提取、无冗余背景信息等特点。这使其在一些具有挑战性的计算机视觉场景，如高动态范围、高速运动等场景中，比起传统帧相机仅能以固定帧率输出亮度图像，事件相机能够明显体现出其优势，尤其是在机器人、自动驾驶和可穿戴设备等领域的应用前景更为突出。目前应用较为广泛的事件相机有动态视觉传感器(Dynamic Vision Sensor,DVS)和动态及主动式像素视觉传感器(Dynamic andActive-pixel Vision Sensor,DAVIS)两种。其中DAVIS相机在DVS相机捕捉亮度变化的基础上还能够捕捉类似传统CMOS相机的强度图像(Intensity image)。

事件相机是一种异步传感器，对场景中每个像素的亮度变化做出异步和独立的响应，其动态采样场景中的光线变化进而动态输出，而不是与观测场景无关的固定时间频率采样。事件相机的输出是数字“事件”或“峰值”的可变数据速率序列，每个事件表示在特定时间点时特定像素处预定义的大小的亮度(对数强度)变化。这种编码的灵感来自生物视觉通路的尖峰性质。每个像素在每次发送事件时都要存储当前对数强度，并不断地监视这个存储值是否有足够大的变化。当监测到单个像素的对数域亮度变化超过一定阈值时，相机会立即返回一个事件。每一个事件均由该亮度变化的时空坐标(像素位置坐标x,y和毫秒级精度的当前时间戳t)及其极性p构成，即：

e＝{x,y,t,p}

事件相机的每个像素是独立的，每个像素能够监测对数级的光电流称之为“亮度”，I为灰度值。具体来说，在不考虑噪声的前提下，单个事件的极性表示亮度增加或减小，一般+1表示亮度增加，-1则表示亮度减小。当达到对比度灵敏度阈值±C(C0)时才会触发事件，即

ΔL(x_k,t_k)＝p_kC