[发明专利]基于多模态信息融合的人体姿态估计方法

摘要

本发明公开了一种基于多模态信息融合的人体姿态估计方法，所述方法运用深度(Depth)信息进行图像输入前分割处理和作为多模态输入，以MobileNetV1作为主干网络，通过计算关键点置信度图和亲和场的方式生成人体骨骼图，大大降低了关键点检测难度从而提高检测准确率；并提出自适应权重的方法，对于不同检测任务的损失函数，赋予不同的权重，以快速迭代降低loss。经过实验测试，在专用数据集和coco数据集上，在同样量级的检测速度(FPS大于25)上，本发明所提出的算法AP值达到了51.1％，实现了快速准确的检测目的。