[发明专利]基于频域自注意力机制的夜间目标检测、训练方法及装置

说明书

本发明公开了基于频域自注意力机制的夜间目标检测、训练方法及装置，采用具有夜间图像检测标签的开源数据集训练检测网络，首先将输入图像进行预处理，使其从RGB转化为YUV通道，分别将三个通道的图像划分成多个区块；对于三个通道的各个区块，分别进行DCT离散余弦变换；将各个区块中属于同一频域的信息依据其原本的空间关系存入同一通道中，生成数个代表不同频域的通道；将所有频域通道输入自注意力网络模块，该模块通过计算各通道之间的可缩放点积自注意力，输出每个通道动态加权后的数值，再将其分别输入相同的多层感知器MLP；将输出结果输入检测网络中，最终获得图像的检测结果。

技术领域

本发明涉及计算机视觉识别技术领域，尤其是涉及基于频域自注意力机制的夜间目标检测、训练方法及装置。

背景技术

目标检测是许多其他经典视觉问题的基础，且具有巨大的实用价值和应用前景。检测RGB摄像机拍摄的夜间场景图片中的物体，是一个非常重要但是未被充分重视的问题，当前最新的视觉检测算法往往在夜间场景下无法达到预期的性能。

夜间目标检测是许多系统（如安全可靠的自动驾驶汽车）的关键组成部分。以行人检测为例，官方算法在Caltech（著名行人检测数据集）上的错误率（越小越好）可以达到7.36%，但在夜间行人数据集上却只能达到63.99%。

夜间目标检测性能低下，主要原因在于目前深度学习网络对于光照信息以及低频信息比较敏感。众所周知，夜间拍摄的图像，存在噪声大、轮廓不清、纹理模糊的问题。这也直接导致了通用的特征提取网络无法提取到充分的特征信息进行学习和分辨。

已有研究表明，人眼对色度的敏感程度要低于对亮度的敏感度。因此YUV图像（Y通道代表图像的亮度信息）表示更符合人眼的视觉特性。此外，研究人员发现神经网络对图像不同频域的敏感度不同。基于白天图像训练的模型中，低频信息被证明是更有效的，而高频信息往往被忽略。然而夜间图像与白天图像分布及其不同，夜间图像本身具有的低频信息十分有限。因此，在频域层面对图像进行动态加权，使模型选择到最有利于提升性能的频域特征，对于夜间场景具有很大的应用前景。

发明内容

为解决现有技术的不足，实现提高夜间图像检测准确率的目的，本发明采用如下的技术方案：

一种基于频域自注意力机制的夜间目标检测训练方法，包括如下步骤：

步骤S1：对训练集图像进行数据预处理，将训练集图像转化为YUV三个通道，并分别对三个通道的图像进行区块的划分，Y表示明亮度，U和V表示色度；

步骤S2：提取三个通道中各区块的高低频信息，同一通道中每个区块相对位置相同的信息代表同一频域的信息；

步骤S3：将各个区块中属于同一频域的信息，依据各区块间的空间关系存入同一频域通道中，得到多个不同频域的通道；

步骤S4：将所有频域通道输入频域自注意力网络，通过计算各通道之间的可缩放点积自注意力，输出每个频域通道经自注意力加权后的频域特征；

步骤S5：输出预测的目标框位置与预测类别，基于特征图中各个特征点对应的真实类别与真值目标框位置，根据损失函数进行夜间目标监督训练。

进一步地，所述步骤S1的数据预处理，包括如下步骤：

步骤S1.1：对训练集图像依次进行随机水平翻转、随机裁剪、图像填充、图像缩放；在图像填充过程中，将图像的宽长用0填充为的整数倍；在图像缩放过程中，将图像缩放到宽：，长：；得到预处理后的图像维度为，其中3为RGB通道；

步骤S1.2：将训练集图像从RGB转化为YUV通道，分别将三个通道的图像划分成像素宽长为的个区块。

进一步地，所述步骤S2中，对于三个通道的各个区块，分别进行DCT离散余弦变换，进而提取每个区块的高低频信息。