[发明专利]基于频域自注意力机制的夜间目标检测、训练方法及装置

权利要求书

1.一种基于频域自注意力机制的夜间目标检测训练方法，其特征在于包括如下步骤：

步骤S1：对训练集图像进行数据预处理，将训练集图像转化为YUV三个通道，并分别对三个通道的图像进行区块的划分，Y表示明亮度，U和V表示色度；所述数据预处理，包括如下步骤：

步骤S1.1：对训练集图像依次进行随机水平翻转、随机裁剪、图像填充、图像缩放；在图像填充过程中，将图像的宽长用0填充为的整数倍；在图像缩放过程中，将图像缩放到宽：，长：；得到预处理后的图像维度为，其中3为RGB通道；

步骤S1.2：将训练集图像从RGB转化为YUV通道，分别将三个通道的图像划分成像素宽长为的个区块；

步骤S2：提取三个通道中各区块的高低频信息，同一通道中每个区块相对位置相同的信息代表同一频域的信息；

步骤S3：将各个区块中属于同一频域的信息，依据各区块间的空间关系存入同一频域通道中，得到多个不同频域的通道；

步骤S4：将所有频域通道输入频域自注意力网络，通过计算各通道之间的可缩放点积自注意力，输出每个频域通道经自注意力加权后的频域特征，包括以下步骤：

步骤S4.1：将各个频域通道从二维向量重塑为一维向量，将各向量串联成矩阵；

步骤S4.2：将矩阵进行可缩放点积自注意力计算，得到多个频域之间的动态加权后的向量；

所述步骤S4.2的自注意力计算公式为：

其中，将各向量串联成矩阵作为自注意力计算中的键值key，，Q表示查询query，V表示值项value，表示点积操作，用于获取所有向量之间的相似度，表示缩放尺度，N表示以为向量的长度；

步骤S4.3：将动态加权后的向量，输入相同的多层感知器MLP层；

步骤S4.4：将多层感知器MLP层的输出向量进行串联，并重塑维度，得到经自注意力加权后的频域特征；

步骤S5：将频域特征输入到检测网络中，输出预测的目标框位置与预测类别，基于特征图中各个特征点对应的真实类别与真值目标框位置，根据损失函数进行夜间目标监督训练。

2.根据权利要求1所述的基于频域自注意力机制的夜间目标检测训练方法，其特征在于：所述步骤S2中，对于三个通道的各个区块，分别进行DCT离散余弦变换，进而提取每个区块的高低频信息。

3.根据权利要求1所述的基于频域自注意力机制的夜间目标检测训练方法，其特征在于： 所述步骤S5包括以下步骤：

步骤S5.1：将所述频域特征输入到检测网络中，输出特征图中各个特征点对应的预测类别、预测目标框；

步骤S5.2：基于预测类别和真实类别，通过分类损失进行监督训练，同时，基于预测目标框和真值目标框，通过回归损失共同进行监督训练。

4.根据权利要求3所述的基于频域自注意力机制的夜间目标检测训练方法，其特征在于：所述步骤S5.2中的分类损失采用Focal Loss分类损失，计算公式为：

其中，x表示特征图第x行，y表示第y列的位置，表示在坐标处通过预测类别得到的分类置信度，表示在坐标处目标所属的真实类别的分类置信度，1表示正样本，0表示负样本；是大于0的值，是[0，1]间的小数，和都是固定值，不参与训练。

5.根据权利要求3所述的基于频域自注意力机制的夜间目标检测训练方法，其特征在于：所述步骤S5.2中的回归损失采用IOU交并比损失，计算公式为：

其中，x表示特征图第x行，y表示第y列的位置，表示坐标处对应的预测目标框坐标，表示坐标处对应的真值的目标框坐标，表示该目标框的面积。