[发明专利]一种事件相机的数据模拟方法和装置

权利要求书

1.一种事件相机的数据模拟方法，包括：

对所获取的待处理视频进行解码处理，得到视频帧序列；

将所述视频帧序列中的目标视频帧输入至全卷积网络UNet，以提取所述目标视频帧对应的事件相机阈值分布信息，得到事件相机阈值分布信息，其中，所述事件相机阈值分布信息包括均值矩阵和标准差矩阵，所述事件相机阈值分布信息是指两个宽为图像宽，高为图像高的矩阵，一个矩阵为均值矩阵，另外一个矩阵为标准差矩阵；

基于所述事件相机阈值分布信息，对所述目标视频帧中的每个像素进行采样以生成事件相机阈值，得到事件相机阈值集合；

对所述事件相机阈值集合和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到仿真事件相机数据；

将所述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述更新后的事件相机阈值分布信息与目标域真实数据的相似度大于第一预定阈值；

基于所述更新后的事件相机阈值分布信息、所述视频帧序列和预设噪声信号，生成仿真事件相机数据，其中，所述仿真事件相机数据是与所述预先获取的事件相机拍摄数据的相似度大于第二预定阈值的数据；

其中，所述基于所述事件相机阈值分布信息，对所述目标视频帧中的每个像素进行采样以生成事件相机阈值，包括：

对于所述目标视频帧中的每个像素p，从预设标准正态分布中采样阈值噪声z(p)，其中，是均值为0、标准差为1的正态分布，z(p)表示p的采样阈值噪声；

根据所述事件相机阈值分布信息对所述采样阈值噪声进行修正，得到所述像素的事件相机采样阈值θ(p)＝μ(p)+z(p)×σ(p)，其中，p表示所述像素，θ(p)表示p的事件相机采样阈值，θ()表示所述事件相机采样阈值，μ(p)表示p的均值，μ()表示均值，z(p)表示p的采样阈值噪声，z()表示采样阈值噪声，σ(p)表示p的标准差，σ()表示标准差；

对所述事件相机采样阈值进行截断处理，得到事件相机阈值θ(p)＝maX(θ(p)，∈)，其中，max(，)表示求两个数中的最大值，∈表示事件相机采样阈值的下限，∈的取值为∈＝0.01；

其中，所述伪并行的事件数据仿真生成处理是对输入的所述视频帧序列中的相邻的视频帧进行处理，以生成正事件累积图和负事件累积图的处理，并将所得到的正事件累积图集合和负事件累积图集合确定为仿真事件相机数据，其中，对输入的所述视频帧序列中的相邻的视频帧通过如下处理，以生成正事件累积图和负事件累积图：

其中，p表示像素，N^pos表示正事件累积图，k表示所述视频帧序列中的视频帧的序号，t_k表示第k个视频帧的事件累计图的时间点，t_k+1表示第k+1个视频帧的事件累计图的时间点，表示t_k到t_k+1时间段内的正事件累积图，表示p在t_k到t_k+1时间段内的正事件累积图，h()表示取正数函数，表示在t_k到t_k+1时间段内的事件累计数，表示p在t_k到t_k+1时间段内的事件累计数，为正数，表示p处为正事件累计数，为负数，表示p处为负事件累计数，N^neg表示负事件累积图，表示t_k到t_k+1时间段内的负事件累积图，表示p在t_k到t_k+1时间段内的负事件累积图，表示0～t_k+1时间段内的事件累计数，表示p在0～t_k+1时间段内的事件累计数，表示0～t_k时间段内的事件累计数，表示p在0～t_k时间段内的事件累计数，其中，通过以下公式得到：

其中，floor()表示向0取整函数，表示在0～t_k+1时间段内的通过计算第k+1帧的和第0帧的的亮度变化得到的事件累计数，表示p在0～t_k+1时间段内的通过计算第k+1帧的和第0帧的的亮度变化得到的事件累计数，表示对向0取整，表示t_k+1时刻的事件修正函数，表示p在t_k+1时刻的事件修正值，log()表示对数函数，表示t_k+1时刻的亮度值，表示t_k+1时刻的帧中p的亮度值，表示t₀时刻的亮度值，表示t₀时刻的帧中p的亮度值，θ(p)表示p的事件相机采样阈值，其中，通过以下公式得到：

其中，表示在0～t_k时间段内的通过计算第k帧的和第0帧的亮度变化得到的事件累计数，表示p在0～t_k时间段内的通过计算第k帧的和第0帧的亮度变化得到的事件累计数，表示对向0取整，表示t_k时刻的事件修正函数，表示p在t_k时刻的事件修正值，∧表示逻辑“与”操作，当即0～t_k+1时间段内的累计事件为负事件时，如果在t_k～t_k+1时间段内产生了正事件则由于floor()函数的作用会产生正错误，所述正错误为多记录一个正事件，设置修正所述正错误；当时，如果在t_k～t_k+1时间段内产生了负事件，则会产生负错误，所述负错误为多记录一个负事件，设置修正所述负错误；当在0～t_k+1时间段内未产生事件时，若上一段时间内进行了修正，则进行修正，若上一段时间内未进行修正，则不进行修正；其他情况下不进行修正，即

其中，所述将所述仿真事件相机数据，与预先获取的事件相机拍摄数据进行生成对抗式学习以对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，包括：

对所述仿真事件相机数据和所述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，其中，所述对所述仿真事件相机数据和所述预先获取的事件相机拍摄数据进行数据处理，得到事件表征信息，包括：确定所述预先获取的事件相机拍摄数据在预定时间段内的第一正事件累计图和第一负事件累计图确定所述仿真事件相机数据在所述预定时间段内的第二正事件累计图和第二负事件累计图利用以下公式，对所述第一正事件累计图、所述第一负事件累计图、所述第二正事件累计图和所述第二负事件累计图分别求梯度，得到第一事件表征信息和第二事件表征信息作为事件表征信息：G＝|g_x(M)|+|g_y(M)|，其中，G表示事件表征信息，g_x()表示在坐标轴的x方向求梯度，M表示事件累积图，即所述第一正事件累积图、第一负事件累积图、第二正事件累积图和第二负事件累积图的总称，g_x(M)表示M在坐标轴x方向上求梯度，x表示坐标轴的横方向，g_y()表示在坐标轴的y方向求梯度，g_y(M)表示M在坐标轴y方向上求梯度，y表示坐标轴的纵方向，所述坐标轴是以帧的左上角为原点，以帧的宽向右的方向为x轴的正半轴，以帧的高向下的方向为y轴的正半轴的坐标轴，其中，所述事件表征信息为：其中，E_r表示所述第一事件表征信息，E表示事件表征信息，r表示预先获取的事件相机拍摄数据，表示所述第一正事件累计图，表示所述第一负事件累计图，表示的梯度，表示的梯度，E_g表示所述第二事件表征信息，g表示所述仿真事件相机数据，表示所述第二正事件累计图，表示所述第二负事件累计图，表示的梯度，表示的梯度，R表示实数集，H表示特征的高度，W表示特征的宽度；

对所述事件表征信息进行分治处理，得到分治处理后的事件表征信息，其中，所述分治处理包括以下步骤：对所述事件表征信息进行分块，得到多个表征块；对所述多个表征块中的每个表征块进行特征分析以生成特征哈希键值，得到特征哈希键值集合；根据所述特征哈希键值集合和预设哈希表，确定与所述多个表征块对应的多个判别器网络模型；利用所述多个判别器网络模型判别所述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，其中，所述特征分析中的特征包括：梯度角度，梯度强度和特征散度；

其中，所述对所述事件表征信息进行分治处理，得到分治处理后的事件表征信息，包括：通过网格分块将事件表征信息E分成4×4共16块，得到表征块其中，表示表征块，R表示实数集，H表示特征的高度，W表示特征的宽度；

对所述多个表征块利用哈希函数进行结构分析，并根据哈希值选择相应的判别器网络模型进行后续处理，对应的判别器网络模型的输出结果用如下公式表示：

其中，表示表征块，D()表示所述判别器网络模型，表示对应的判别器网络模型的输出结果，k表示判别器网络模型的序号，ind()表示示性函数，当条件成立时值为1，当条件不成立时值为0，s()表示哈希函数，表示输入到哈希函数中的返回值，D_k()表示第k个判别器网络模型，表示输入到第k个判别器网络模型的输出结果，表示对所有判别器网络模型的输出结果进行求和；

梯度角度和梯度强度的分析步骤如下：

确定每个表征块的梯度，得到梯度矩阵；

确定所述梯度矩阵的特征值{λ₁，λ₂}和特征向量{φ₁，φ₂}；

通过如下公式计算梯度角度和梯度强度γ：

其中，表示梯度角度，arctan(，)表示反正切函数，arctan(φ₁，φ₂)表示φ₁和φ₂的反正切函数，φ₁表示坐标轴x方向上特征向量，φ₂表示坐标轴y方向上特征向量，γ表示所述梯度强度，表示坐标轴x方向上的特征值的平方根，表示坐标轴y方向上的特征值的平方根，c(m)表示m的特征散度，m表示表征块，c()表示特征散度，q表示像素p的相邻像素，P()表示表征块中所有像素的集合，P(m)表示第m个表征块中所有像素的集合，N()表示像素的4邻域，N(p)表示像素p的4邻域，表示像素p与相邻像素q的梯度，|| ||²表示范数的平方，O[]表示概率，表示的概率；

其中，所述利用所述多个判别器网络模型判别所述多个表征块的事件表征信息是否满足预设条件，并根据预先获取的数据分布对所述事件相机阈值分布信息进行更新，得到更新后的事件相机阈值分布信息，包括：

对梯度角度、梯度强度和特征散度分别量化成24、3和3共三个等级；

设置216个判别器网络模型，其中，所述216个判别器网络模型中的每个判别器网络模型由一个多层感知器网络结构构成，所述多层感知器网络结构由三层线性层构成，所述三层线性层中的每层线性层的通道数分别为256，128和1，其中，所述216个判别器网络模型由于训练的数据量不同，置信度也不同，通过如下公式对所述事件相机阈值分布信息进行更新：

其中，ω_k表示第k个判别器网络模型的置信度，k表示判别器网络模型的序号，ω表示判别器网络模型的置信度，α表示平衡参数，α的取值为α＝0.5，K表示判别器网络模型训练的数据，K的取值为K＝216，S表示判别器网络模型训练的数据量，S_k表示第k个判别器网络模型训练的数据量，∑_kS_k表示对所述216个判别器网络模型训练的数据量求和，即求总数据量，L_D表示判别器网络模型的对抗式学习损失函数，L表示损失函数，D表示判别器网络模型的对抗式学习，E_r表示所述第一事件表征信息，E表示事件表征信息，r表示预先获取的事件相机拍摄数据，P_r()表示预先获取的事件相机拍摄数据的数据分布，P_r(E_r)表示符合E_r的预先获取的事件相机拍摄数据的数据分布，P表示数据分布，D()表示所述判别器网络模型，E_g表示所述第二事件表征信息，g表示所述仿真事件相机数据，P_g()表示所述仿真事件相机数据的数据分布，P_g(M_g)表示符合E_g的仿真事件相机拍摄数据的数据分布；

其中，所述基于所述更新后的事件相机阈值分布信息、所述视频帧序列和预设噪声信号，生成仿真事件相机数据，包括：

根据所述更新后的事件相机阈值分布信息，对所述视频帧序列中的各个视频帧中的每个像素进行事件相机阈值采样以生成事件相机阈值，得到事件相机阈值组序列；

对所述事件相机阈值组序列和所述视频帧序列进行伪并行的事件数据仿真生成处理，得到事件相机数据；

将预设噪声信号添加至所述事件相机数据，得到仿真事件相机数据。