[发明专利]用于视频中物体检测的图像处理方法、装置及设备

说明书

本发明实施例提供了一种用于视频中物体检测的图像处理方法、装置及设备，该方法包括：提取所述视频中的第一帧图像的第一特征图，并提取所述视频中的第二帧图像的第二特征图，其中，所述第二帧图像位于所述第一帧图像之后且所述第二帧图像与所述第一帧图像之间具有预定间隔；根据所述第一特征图和所述第二特征图，构建所述第二帧图像之后的第三帧图像的第三特征图，其中，所述第三帧图像与所述第二帧图像之间具有所述预定间隔。由此可见，本发明实施例中通过计算相邻帧之间的相关性，预测下一相邻帧的特征位置，从而得到下一相邻帧图像的特征向量，能够减小特征提取过程的计算量，节约了提取的时间，从而提高了检测的效率。

技术领域

本发明涉及图像处理领域，更具体地涉及一种用于视频中物体检测的图像处理方法、装置及设备。

背景技术

诸如区域-卷积神经网络(Region with Convolutional Neural Network，R-CNN)等基于深度学习的物体检测算法大都是面向静态图片来设计实现的，但是在现实应用中的物体检测大都是用在视频中的，如自动驾驶，智能安防等，如果逐帧地进行会存在较高的信息冗余，导致检测效率低。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种用于视频中物体检测的图像处理方法、装置及设备，能够根据相关性匹配实现特征图的空间传播，节省了一定的计算量，保证了检测效率。

根据本发明的一方面，提供了一种用于视频中物体检测的图像处理方法，包括：

提取所述视频中的第一帧图像的第一特征图，并提取所述视频中的第二帧图像的第二特征图，其中，所述第二帧图像位于所述第一帧图像之后且所述第二帧图像与所述第一帧图像之间具有预定间隔；

根据所述第一特征图和所述第二特征图，构建所述第二帧图像之后的第三帧图像的第三特征图，其中，所述第三帧图像与所述第二帧图像之间具有所述预定间隔。

在本发明的一个实施例中，根据所述第一特征图和所述第二特征图，构建所述第二帧图像之后的第三帧图像的第三特征图，包括：

以所述第一特征图为基础，将所述第二特征图与所述第一特征图进行相关性匹配；

根据所述相关性匹配的结果构建所述第三特征图。

在本发明的一个实施例中，所述以所述第一特征图为基础，将所述第二特征图与所述第一特征图进行相关性匹配，包括：

获取所述第一特征图的第(w1,h1)个空间位置的第一特征向量；

在所述第二特征图的预设范围内，确定与所述第一特征图的第(w1,h1)个空间位置匹配的第一空间位置，其中，所述第一空间位置的第二特征向量与所述第一特征向量的相关性最大；

确定所述第一空间位置与所述第一特征图的第(w1,h1)个空间位置之间的偏移量；

其中，所述第一特征图的空间维度为W×H，w1的取值范围为1至W，h1的取值范围为1至H。

在本发明的一个实施例中，所述预设范围为所述第二特征图的空间位置(i1,j1)的范围，其中，w1-b≤i1≤w1+b，h1-b≤j1≤h1+b，b为预设带宽。

在本发明的一个实施例中，所述第一空间位置为所述第二特征图的第(w1+im,h1+jm)个空间位置，则所述偏移量为(im,jm)，其中，im和jm均为-b至b之间的整数。

在本发明的一个实施例中，所述根据所述相关性匹配的结果构建所述第三特征图，包括：

根据所述第二特征向量和所述偏移量，构建所述第三帧图像的所述第三特征图，其中，所述第三特征图的第二空间位置具有所述第二特征向量，所述第二空间位置与所述第一空间位置之间具有所述偏移量。