[发明专利]一种事件相机的数据模拟方法和装置

说明书

本公开的实施例公开了事件相机的数据模拟方法和装置。该方法的一具体实施方式包括：对待处理视频进行解码处理，得到视频帧序列；将视频帧序列中的目标视频帧输入至全卷积网络UNet，得到事件相机阈值分布信息；对目标视频帧中的每个像素进行采样，得到事件相机阈值集合；对事件相机阈值集合和视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；将仿真事件相机数据，与事件相机拍摄数据进行生成对抗式学习，得到更新后的事件相机阈值分布信息；基于更新后的事件相机阈值分布信息、视频帧序列和预设噪声信号，生成仿真事件相机数据。本发明能够广泛应用于国防军事、影视制作、公共安全等领域的计算机视觉系统。

技术领域

本发明涉及计算机视觉与多模态生成领域，具体涉及事件相机的数据模拟方法和装置。

背景技术

事件相机由于其成像原理，相较于传统彩色相机，具有高动态范围、低时间延迟等优势。在国防军事、影视制作、公共安全等领域具有广泛应用前景。但是，现在事件相机由于其价格高昂且商业化产品尚未普及。利用事件数据仿真生成算法快速、廉价的仿真生成大量事件相机数据，在图像修复、视频监控、智慧城市等应用领域具有重大意义。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

根据上述实际需求和关键问题，本发明的目的在于：提出一种事件相机的数据模拟方法，输入待处理视频帧序列，方法自适应生成事件相机阈值分布信息，并通过伪并行的事件数据仿真生成处理，输出仿真事件相机数据。

本公开的一些实施例提供了一种事件相机的数据模拟方法，该方法包括：对所获取的待处理视频进行解码处理，得到视频帧序列；将上述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取上述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息；基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；对上述事件相机阈值集合和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，上述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，上述仿真事件相机数据是与上述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。

本公开的一些实施例提供了一种事件相机的数据模拟装置，装置包括：解码处理单元，被配置成对所获取的待处理视频进行解码处理，得到视频帧序列；输入单元，被配置成将上述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取上述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息；采样单元，被配置成基于上述事件相机阈值分布信息，对上述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；伪并行的事件数据仿真生成处理单元，被配置成对上述事件相机阈值集合和上述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；生成对抗式学习单元，被配置成将上述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对上述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，上述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；生成单元，被配置成基于上述更新后的事件相机阈值分布信息、上述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，上述仿真事件相机数据是与上述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据。