[发明专利]用于视频中物体检测的图像处理方法、装置及设备

说明书

本发明实施例提供了一种用于视频中物体检测的图像处理方法、装置及设备，该方法针对所述视频中的待处理的当前帧图像，包括：提取所述当前帧图像的初始特征图；基于所述初始特征图以及所述当前帧图像的历史特征图，通过相关性匹配得到第一重构特征图和第二重构特征图；将所述初始特征图、所述第一重构特征图和所述第二重构特征图进行特征融合，得到融合后的特征图。由此可见，本发明实施例的图像处理方法，基于初始特征图和历史特征图进行改进，避免了工程性技巧的后处理，并且能够保证物体检测框架的相对完整性，能够实现实时视频物体检测，进而能够有效提升检测效果，保证检测准确性。

技术领域

本发明涉及图像处理领域，更具体地涉及一种用于视频中物体检测的图像处理方法、装置及设备。

背景技术

诸如区域-卷积神经网络(Region based Convolutional Neural Network，R-CNN)等基于深度学习的物体检测算法大都是面向静态图片来设计实现的，但是在现实应用中的物体检测大都是用在视频中的，如自动驾驶，智能安防等，而视频中会存在物体快速运动，摄像机移动或抖动等，这将导致部分帧检测效果变差。沿时间序列(sequence)做非极大值抑制(Non-maximum suppression，NMS)、管道卷积神经网络方法(TubeletsConvolutional Neural Networks)等是一些视频中物体检测后处理的算法，然而他们工程化技巧性处理比较多，而且多用于检测结果的后处理，难以复现且无法应用在实时检测环境。并且这些算法在提取特征阶段，使用光流的方法融合特征层，导致计算带来的误差会累计到特征融合阶段，进而影响了整个检测的准确性。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种用于视频中物体检测的图像处理方法、装置及设备，能够实现实时视频物体检测，进而能够有效提升检测效果，保证检测准确性。

根据本发明的一方面，提供了一种用于视频中物体检测的图像处理方法，针对所述视频中的待处理的当前帧图像，包括：

提取所述当前帧图像的初始特征图；

基于所述初始特征图以及所述当前帧图像的历史特征图，通过相关性匹配得到第一重构特征图和第二重构特征图；

将所述初始特征图、所述第一重构特征图和所述第二重构特征图进行特征融合，得到融合后的特征图。

在本发明的一个实施例中，所述基于所述初始特征图以及所述当前帧图像的历史特征图，通过相关性匹配得到第一重构特征图和第二重构特征图，包括：

以所述初始特征图为基础，将所述历史特征图与所述初始特征图进行相关性匹配，得到所述第一重构特征图；

以所述历史特征图为基础，将所述初始特征图与所述历史特征图进行相关性匹配，得到所述第二重构特征图。

在本发明的一个实施例中，所述以所述初始特征图为基础，将所述历史特征图与所述初始特征图进行相关性匹配，得到所述第一重构特征图，包括：

获取所述初始特征图的第(w1,h1)个空间位置的初始特征向量；

在所述历史特征图的第一预设范围内，确定第一空间匹配位置，其中，所述第一空间匹配位置的第一特征向量与所述初始特征向量的相关性最大；

根据所述第一特征向量，构建所述第一重构特征图，其中，所述第一重构特征图的第(w1,h1)个空间位置具有所述第一特征向量；

其中，所述初始特征图的空间维度为W×H，w1的取值范围为1至W，h1的取值范围为1至H。

在本发明的一个实施例中，所述第一预设范围为所述历史特征图的空间位置(i1,j1)的范围，其中，w1-b≤i1≤w1+b，h1-b≤j1≤h1+b，b为预设带宽。