[发明专利]基于人体拓扑结构对齐的多人姿态估计方法

权利要求书

1.一种基于人体拓扑结构对齐的多人姿态估计方法，其特征在于，包括：

通过网络爬虫爬取没有袖子的人体图像，构建SZF数据集；

用MS-COCO和MPLL数据集为输入训练HRNet网络，得到XZZNet网络；利用HRNet网络对MS-COCO和MPLL数据集的图像样本进行学习得到人体关键点图像；

将SZF数据集输入到XZZNet网络中，XZZNet网络生成候选的没有袖子的人体姿态关键点；

对HRNet网络生成的人体关键点图和XZZNet生成的候选的人体关键点图进行图匹配，根据图匹配结果利用交叉熵损失函数微调XZZNet网络，得到优化的XZZNet网络；

将SZF数据集输入到优化的XZZNet网络中，生成SZF数据集中的图像对应的关键点检测图像，根据关键点检测图像得到图像中包含人体的各个关键点姿态信息。

2.根据权利要求1所述的方法，其特征在于，所述的通过网络爬虫爬取没有袖子的人体图像，构建SZF数据集，包括：

利用python的requests程序包实现网络爬虫，利用requests程序包调用抓取图片函数获取目标网页地址，循环遍历字典中存入的图片网址，用python代码将抓取的图像重命名后，对图像进行标注，标注完成，将图像和标注文件按照顺序一对一读入保存，构成SZF图像数据集。

3.根据权利要求1所述的方法，其特征在于，所述的用MS-COCO和MPLL数据集为输入训练HRNet网络，得到XZZNet网络；利用HRNet网络对MS-COCO和MPLL数据集的图像样本进行学习得到人体关键点图像，包括：

对MS-COCO和MPLL数据集中的原始图像进行翻转、裁剪和重塑,以变化后的图像为输入训练HRNet网络，得到鲁棒的XZZNet网络；利用HRNet网络对MS-COCO和MPLL数据集的图像样本进行学习得到人体关键点图，平均变化后的图像生成的热图，每个人体关键点的位置是通过调整最高热值的位置，并在从最高响应到第二高响应的方向上偏移四分之一来预测。

4.根据权利要求3所述的方法，其特征在于，利用MS-COCO和MPLL数据集为输入训练HRNet网络时，HRNet网络包含四个阶段，主体为四个并行的子网，各个子网的分辨率逐渐降低到一半，相应的宽度增加了一倍，在HRNet网络中引入了跨并行子网的交换单元，通过在并行的多分辨子网络上反复交换信息来进行多尺度的重复融合，使每个子网重复接受来自其他并行子网的信息。通过网络输出的高分辨率表示来估计关键点。

5.根据权利要求1所述的方法，其特征在于，所述的将SZF数据集输入到XZZNet网络中，XZZNet网络生成候选的没有袖子的人体姿态关键点，包括：

将之前构建的SZF数据集输入到XZZNet网络中，通过XZZNet网络中的CAFA模块和预训练网络利用L_fd函数学习域不变和细粒度的人跨域表示

其中，M,N表示源域与目标域的样本图像数量，F_s,i'，F_t,j'表示第i个位置的F_s'和第j个位置的F_t'。φ是一个映射操作，它将域特征投影到一个内核希尔伯特空间H中；

将SZF数据集中的图像样本进行关键点的标记与注释，采用编码器-解码器架构进行姿态预测，用特征提取器生成相应的图像三元组特征和根据图像三元组特征和通过CAFA模块得到自适应的特征点F_s,F_t，将特征点F_s,F_t输入到姿态估计器中，预测出各自的关键点热图，生成候选的人体关键点图像。

6.根据权利要求1所述的方法，其特征在于，所述的对HRNet网络生成的人体关键点图和XZZNet生成的候选的人体关键点图进行图匹配，根据图匹配结果利用交叉熵损失函数调整XZZNet网络，得到优化的XZZNet网络，包括：

利用人体拓扑对齐对HRNet网络标注的人体关键点图像和XZZNet网络生成的候选标注的人体关键点图像进行图构建和图匹配操作，对域内一阶关键点进行对齐，根据交叉熵函数给出HRNet网络标注的人体关键点图像和XZZNet网络生成的候选标注的人体关键点图像对齐的损失函数，通过最小化所述损失函数反向微调XZZNet网络，利用反向传播BP算法不断更新XZZNet网络模型的参数，以训练XZZNet网络模型，使得XZZNet网络收敛，得到优化的XZZNet网络和矫正后的候选的人体关键点图像。