[发明专利]一种融合脉冲数据和帧数据的运动图像的超分辨提升方法

说明书

一种融合脉冲数据和帧数据的运动图像的超分辨提升方法，包括：S1.数据输入；S2.同步数据：根据时间戳对脉冲数据和帧数据进行同步，同步的时间戳以帧数据为基准，脉冲数据包含上一帧到当前帧时间段的所有数据；S3.脉冲光流：提取脉冲数据的光流特征；S4.帧数据光流：提取帧数据的光流特征；S5.数据矫正：利用步骤S1获取到的棋盘格信息数据，通过计算后对脉冲数据进行校正；S6.数据融合：将步骤S5校正好的光流特征进行融合；S7.生成恢复：通过步骤S6数据融合后的数据恢复为高帧率、高质量的帧数据；S8.数据输出：输出高帧率的视频数据。本发明方法通过人工智能的融合方法提升传统相机的帧率，使其能的对高速运动的目标有好呈现效果。

技术领域

本发明涉及人工智能领域，特别地，涉及一种融合脉冲数据和帧数据的运动图像的超分辨提升方法。

背景技术

脉冲相机作为一种新型的相机技术，主要通过感知环境的变化提供脉冲信号，得益于它高速的采集速率和宽动态能力，已经广泛应用于运动目标的采集等领域，传统的相机可以提供比较高分辨率的帧数据，但存在的主要问题是：传统相机受到快门曝光等设置，无法很好的捕捉运动目标，尤其是高速目标，往往会导致运动模糊。虽然有专业的高速相机可以完成对高速目标捕捉，然而高速相机大多价格昂贵，且高速相机会产生大量的数据冗余，帧率固定等缺点。解决以上问题及缺陷的难度为：用传统方式解决这个问题难度很大，这是传统相机基于原理的固有缺陷，在捕捉运动目标，采用全局快门，必然带来背景信息的大量冗余。

脉冲数据和帧数据在数据表达形式上有很大的区别，脉冲相机输出的是高时间分辨率的异步脉冲信号，而传统相机输出的是连续的帧数据，将两者进行有效的融合具有重要意义。解决以上问题及缺陷的意义为：可以有效的降低在高速目标采集过程中所带来的数据冗余，以较少的数据量可以完成高速移动目标的数据采集。

发明内容

本发明提供了一种融合脉冲数据和帧数据的运动图像的超分辨提升方法，通过人工智能的融合方法提升传统相机的帧率，使其能的对高速运动的目标有好呈现效果。

本发明的技术方案如下：

本发明的融合脉冲数据和帧数据的运动图像的超分辨提升方法，包括以下步骤：S1.数据输入：将脉冲相机和传统相机固定在同一平面上，每次使用时都要获取动态的矫正棋盘格信息数据，同时将脉冲数据和帧数据输出；S2.同步数据：根据时间戳对脉冲数据和帧数据进行同步，同步的时间戳以帧数据为基准，脉冲数据包含上一帧到当前帧时间段的所有数据；S3.脉冲光流：提取脉冲数据的光流特征；S4.帧数据光流：提取帧数据的光流特征；S5.数据矫正：利用步骤S1获取到的棋盘格信息数据，通过计算后对脉冲数据进行校正，使其可以映射到帧数据的坐标系中；S6.数据融合：将步骤S5校正好的光流特征进行融合；S7.生成恢复：通过步骤S6数据融合后的数据恢复为高帧率、高质量的帧数据；S8.数据输出：输出高帧率的视频数据。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S2中，同步数据包括脉冲数据和帧数据的时间对齐，以及脉冲数据和帧数据空间对齐。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S2中，脉冲数据和帧数据的时间对齐通过设置绝对时间戳来实现，即帧数据当前时间的数据和脉冲数据此时刻数据到上一帧时间内的所有数据为同一时刻数据。

优选地，在上述融合脉冲数据和帧数据的运动图像的超分辨提升方法中，在步骤S2中，脉冲数据和帧数据空间对齐通过移动的棋盘格进行对齐，首先将棋盘格设置成圆形，并按照一定速度匀速旋转，按照时间对齐的要求进行数据提取，时间持续1s，将脉冲按照20ms的时间间隔映射为图像帧，对1s钟的数据利用棋盘格求出两个相机的候选坐标系，并将每个相机的候选坐标系进行平均计算，均值结果作为两个坐标系的最终输出，并在坐标系的基础上建立两个坐标系的映射关系。