[发明专利]一种融合特征传播与聚合的视频目标检测方法

摘要

本发明公开了一种融合特征传播与聚合的视频目标检测方法，其特征在于，包括稀疏特征传播和密集特征聚合；所述稀疏特征传播的方法能够生成非关键帧的特征图像，以降低特征网络部分的计算量，提高整体检测速度；所述密集特征聚合将相邻帧在运动路径上的特征均聚合到当前帧的特征中，增强当前帧的特征，提高后续视频识别的检测精度。本发明基于视频的目标检测具有同图像目标检测相同的评价指标，使用MAP作为检测精度上的衡量，FPS作为检测速度上的衡量，且均追求在精度和速度上获得最好的均衡；本发明方法能够提高速度和精度。

主权项

1.一种融合特征传播与聚合的视频目标检测方法，其特征在于，包括稀疏特征传播和密集特征聚合；所述稀疏特征传播的方法能够生成非关键帧的特征图像，以降低特征网络部分的计算量，提高整体检测速度；稀疏特征传播采用视频帧之间的相似性来降低特征计算成本，每隔n张(根据实际情况可以随机确定n的大小，一般取10)抽取视频中的关键帧通过深度卷积网络得到关键帧特征图，对于非关键帧，其特征图的计算则来源于最近邻关键帧以及其与当前非关键帧之间的运动变化矢量的加和，通常用光流矢量的计算定量临近两帧之间的信息差值；所述密集特征聚合将相邻帧在运动路径上的特征均聚合到当前帧的特征中，增强当前帧的特征，提高后续视频识别的检测精度；其是通过Flow‑guided feature aggregation网络来实现的；所述稀疏特征传播到当前帧i的特征图F_k→i计算如下：F_k→i＝ω(F_k，M_i→k)其中F表示由关键帧Input_frames_i到非关键帧Input_frames_k之间的光流计算，可以通过光流网络计算N_flow(Input_frames_k,Input_frames_i)＝M_i→k得到；M_i→k对应一个二维矩阵，表征当前帧上任一点p(x,y)与关键帧上的相应位置上的光流失量ΔP，其尺寸和当前帧大小一致；ω表示关键帧特征信息针对光流矢量的映射运算；映射后的特征信息可以表征当前非关键帧的特征向量，再通过N_det网络来计算k时刻的检测结果F_k→i；网络可以同时实现让F_k→i自动去接近fi的，包括计算光流网络N_flow在内的端到端的训练；所述Flow‑guided feature aggregation网络需要计算视频每一帧的特征图；对于视频流的第i个时刻的关键帧，需要其之前和之后一段时间(根据实际情况可以随机确定时间段大小，最常见的是取10帧)的特征信息以某种规则合理的补充与添加到当前帧特征计算中去；一般来说，给每个时间帧分配一定权重系数，来对前后i+2r个特征图对应位置的值加权求和来得到当前帧的聚合特征图F′_i，具体计算如公式：F′_i(p)＝∑_{k∈[i‑r，i+r]}W_k→i(p)·F_k→i其中W_k→i(p)为相邻帧k特征图映射到当前帧i特征图的自适应权重系数，F_k→i与公式F_k→i＝ω(F_k，M_i→k)意义相同；P对应一个代表多通道像素位置的多维矩阵；权重系数W_k→i(p)用下方公式定义：权重系数W_k→i(p)表征当前系统缓存中临近关键帧特征信息对于当前帧的重要程度；特别是在位置P，如果映射后的特征F_k→i(P)和F_i(P)很相近，则它会被赋予一个大的权重，反之则相反；其中F^e表示特征图经过由三个卷积层组成的内嵌映射网络ε(·)(Embedding network)。