[发明专利]一种基于关键点的目标检测的特征融合方法

权利要求书

1.一种基于关键点的目标检测的特征融合方法，其特征在于，包括特征提取模块、特征融合模块、热力图生成模块，后处理模块；

所述特征融合模块包括：

特征相加模块：用于将输入该模块的两个特征图缩放到相同的分辨率和通道数，并将缩放后的两个特征图的对应元素相加；

特征拼接模块：用于将输入该模块的两个或多个特征图缩放到相同的分辨率，然后将缩放后的两个特征图的通道维度叠加起来，并通过1*1卷积整合通道；

具体实现步骤如下：

(S1)将待检测的图片输入到特征提取模块，得到多个不同分辨率的第一特征图；

(S2)将得到的第一特征图输入到特征融合模块，通过特征融合模块将高层特征的语义信息与低层特征的位置信息有效融合，得到一个同时包含丰富的语义信息和位置信息的第二特征图；

(S3)将第二特征图输入到热力图生成模块同时结合特征融合模块拼接第一特征图中具有丰富位置信息的特征图，得到三个分别代表目标的位置，目标的大小和目标的偏移的热力图；

(S4)将三个热力图输入到后处理模块，输出图片中所有目标的检测框。

2.根据权利要求1所述的一种基于关键点的目标检测的特征融合方法，其特征在于，在步骤(S1)中，输入分辨率为L*W*3的图像经过特征提取模块的多轮卷积后得到第零层特征C₁、C₂、C₃、C₄、C₅，其分辨率分别为L/2*W/2*64，L/4*W/4*256，L/8*W/8*512，L/16*W/16*1024，L/32*W/32*2048；其中，L代表图像的长，W代表图像的宽。

3.根据权利要求1所述的一种基于关键点的目标检测的特征融合方法，其特征在于，在步骤(S2)中，所述特征融合模块内包括了特征个数随着层数的增加逐层减少一个的第一层特征P_{i_1}，第二层特征P_{i_2}，第三层特征P_{i_3}，第四层特征P_{i_4}；其中，2≤i≤4，第四层特征只有一个，即为第二特征图，其分辨率为L/4*W/4*64。

4.根据权利要求3所述的一种基于关键点的目标检测的特征融合方法，其特征在于，在步骤(S2)中，所述第一层特征P_{i_1}通过特征融合模块中的特征相加模块自顶向下得到，即

P_{i_1}＝deconv3(P_{i+1_1})+conv1(C_i) 2≤i≤4；

其中，P_{i+1_1}表示自顶向下的低分辨率特征图，C_i表示横向连接的来自特征提取网络的高分辨率特征图，deconv3表示3*3的转置卷积，conv1表示1*1的卷积，使用conv1和deconv3保持要融合的两个特征图的长宽和通道数完全相同，+conv3(C_i)中的+号表示将两个特征图对应位置的原始值相加。