[发明专利]一种基于多帧特征聚合的动态目标检测方法及装置

权利要求书

1.一种基于多帧特征聚合的动态目标检测方法，其特征在于，包括：

在Faster RCNN的全连接层后添加关系模块；其中，所述关系模块包括全局关系模块和局部关系模块；

从视频中与关键帧相邻的帧中随机选取多帧作为局部帧；从视频中随机选取多帧作为全局帧；其中，所述关键帧中包含待检测的动态目标；

通过所述全局关系模块将所述全局帧的语义特征聚合到所述局部帧和所述关键帧，得到增强局部帧和第一增强关键帧；通过所述局部关系模块将所述增强局部帧的语义特征和位置特征聚合到所述第一增强关键帧，得到第二增强关键帧；通过所述局部关系模块将所述第二增强关键帧中除选定候选区域外的其他候选区域的语义特征和位置特征聚合到选定候选区域，得到第三增强关键帧；

基于所述第三增强关键帧，得到当前动态目标的检测结果。

2.如权利要求1所述的基于多帧特征聚合的动态目标检测方法，其特征在于，将所述全局帧的语义特征聚合到所述局部帧和所述关键帧，包括：

使用广义余弦相似度来度量两个候选区域之间的语义相似度，从而判断两个候选区域是否同属一个类别，表达式为：

其中，φ(.)和ψ(.)代表变换函数，表示第k帧第i个候选区域，表示第f帧第j个候选区域；表示和之间的语义相似度，T表示转置；

使用softmax函数对所有候选区域进行相似性归一化处理，将各个输出节点的输出值范围映射到[0,1]，并且约束各个输出节点的输出值和为1，表达式为：

其中，表示语义相似度的归一化处理结果；

将所述全局帧的语义特征聚合到所述局部帧和所述关键帧，表达式为：

其中，表示第k帧第i个候选区域的语义特征聚合结果，Ω是为聚合全局帧的语义特征随机选择的帧索引集，N为每帧中的候选区域个数。

3.如权利要求1所述的基于多帧特征聚合的动态目标检测方法，其特征在于，将所述增强局部帧的语义特征和位置特征聚合到所述第一增强关键帧，包括：

构造关系函数，将B中候选区域对象集的语义特征和位置特征聚合到P帧中第n个候选区域，即关系特征f_R(n)表示为：

其中，表示B中第l个对象的语义特征，W_v是线性变换矩阵；ω^ln为关系权重因子，表示来自其他对象的影响，表示为：

其中，和分别表示B中第l个候选框和P帧中第n个候选框之间的位置特征权重和语义特征权重；表示B中的对象集和P帧中第n个对象之间的位置特征权重和语义特征权重之和；

所述局部关系模块通过r个关系特征模块来进一步增强每个候选区域的语义特征信息和位置特征信息，表示为：

其中，表示P帧中第n个候选区域的语义特征，表示经过第r个关系特征模块后得到的关系特征,f_ra(p_n,B)表示P帧中的第n个候选区域特征通过连接r个关系特征和原始语义特征后得到的增强特征；

使用f_ra(P,B)表示所有增强的候选区域特征的集合，即P中的所有候选区域都是通过B中的候选区域的特征来增强的；

将增强局部帧的语义特征和位置特征聚合到第一增强关键帧，表达式为：

K^L＝f_ra(K′,L′)

其中，K′,L′分别表示第一增强关键帧候选区域和增强局部帧候选区域，K^L表示第一增强关键帧的所有候选区域经过局部帧增强后的集合，即第二增强关键帧所有候选区域的集合。

4.如权利要求3所述的基于多帧特征聚合的动态目标检测方法，其特征在于，将所述第二增强关键帧中除选定候选区域外的其他候选区域的语义特征和位置特征聚合到选定候选区域，表达式为：

K^LK＝f_ra(K^L,K^L)

其中，K^LK表示第二增强关键帧所有候选区域经过自增强后的集合，即第三增强关键帧所有候选区域的集合。