[发明专利]一种基于异构卷积神经网络的目标关键点检测方法

权利要求书

1.一种基于异构卷积神经网络的目标关键点检测方法，其特征在于：该方法包括以下步骤：

步骤1：输入图片，用已训练的好的fasterrcnn目标检测器检测图片中的目标，获取目标框的坐标，并保存在一个数据结构中；

步骤2：然后将步骤1中目标检测器获取的坐标，在检测出的目标框的基础上将目标框拓宽20％，并将目标框拓宽20％单独截取；

步骤3：将步骤2截取出的单目标框，输入到异构卷积神经网络中，进行目标关键点检测；

步骤4：将检测出的单目标人体关键点，对应到步骤1的图片中，从而得到多人体姿态估计的结果。

2.根据权利要求1所述的一种基于异构卷积神经网络的目标关键点检测方法，其特征在于：步骤3中，具体包括如下步骤，步骤3-1：然后将单目标图像的大小调整为256x256分辨率的图像；

步骤3-2：使用expansion系数为2的ResNet50网络作为骨架网络进行特征提取，使得特征图的分辨率为8×8，用分组为4的分组卷积代替步长为1的3×3标准卷积，用分组为16的分组卷积代替步长为1的1×1标准卷积；

传统卷积的参数量为：

S_cp＝N×C×K×K

分组卷积的参数量为：

异构卷积的参数量为:

其中，N为输入特征图的通道数，C为输出特征图的通道数，G为分组卷积的分组数，K、K₁、K₂均为卷积核大小；

G_cp≤SH_p≤S_cp

相比分组卷积，异构卷积有效的整合了特征图的通道，相比标准卷积，异构卷积提升了模型的感受野；

步骤3-3：将步骤3-2中得到的8×8卷积之增加特征金字塔池化层；

步骤3-4：将步骤3-3得到的特征图，进行三次上采样，得到分辨率大小为的64x64的特征图；

步骤3-4：使用跳连接层将步骤3-2中主干网络得到的16×16、32×32、64×64的特征图与步骤3-3中上采样得到的相应分辨率的特征图进行拼接；

步骤3-5：用1x1的卷积将步骤3-4中得到的分辨率为64×64的特征图的通道调整为数据集中关键点的个数，从而输出对应关键点的坐标。

3.根据权利要求2所述的一种基于异构卷积神经网络的目标关键点检测方法，其特征在于：在训练的过程中使用随机梯度下降不断迭代的方式对网络进行优化；用到的损失函数为均方差损失函数：

其中，m为关键点的个数，y_i为标注的ground_truth关键点的坐标，为模型预测的关键点的坐标，n为每批次训练样本个数，i为当前关键点的索引。