[发明专利]人体关节点检测模型训练方法及检测方法、存储介质终端在审
申请号: | 202210530486.4 | 申请日: | 2022-05-16 |
公开(公告)号: | CN114925812A | 公开(公告)日: | 2022-08-19 |
发明(设计)人: | 刘立庄;张嘉璐;韩振奇;仲越 | 申请(专利权)人: | 中国科学院上海高等研究院 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06V40/10;G06V40/20;G06V10/82 |
代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 牛莎莎 |
地址: | 201210 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人体 关节点 检测 模型 训练 方法 存储 介质 终端 | ||
1.一种人体关节点检测模型训练方法,包括:
获取待训练数据集,所述待训练数据集包括多个训练数据,每个所述训练数据均包括人体深度图像数据以及与所述人体深度图像数据对应的观测人体二维关节点坐标和观测人体三维关节点坐标;
基于所述待训练数据集对预设结构训练模型进行训练,以获取人体关节点检测模型;
其中,所述预设结构训练模型结构包括相互连接的生成网络和鉴别网络;
所述生成网络包括依次连接的卷积模块、N个密集计算模块组、瓶颈模块和输出模块,所述卷积模块、N个密集计算模块组和瓶颈模块形成模块组,所述模块组中每两个相邻模块之间均通过过渡模块连接,以使得所述模块组中的每个模块均符合预设输入条件,每个所述密集计算模块组内均包括1×1瓶颈层,N≥4;
所述预设输入条件为:所述模块组中当前模块之前的所有模块输出的特征图像均作为当前模块的输入。
2.根据权利要求1所述的模型获取方法,其特征在于,基于所述待训练数据集对预设结构训练模型进行训练,以获取人体关节点检测模型步骤包括:
对所述待训练数据集内的所有训练数据进行分组,以获取多组待训练数据组;
将所述待训练数据集中的第M组待训练数据组作为待输入训练数据组;
基于所述待输入训练数据组对待训练检测模型进行训练,以获取临时关节点检测模型,判断在生成当前所述临时关节点检测模型时获取的生成网络损失函数值是否小于预设阈值,若是则将当前所述临时关节点检测模型作为人体关节点检测模型,否则将当前所述临时关节点检测模型作为下一轮训练的待训练检测模型,且M加1,并重新将所述待训练数据集中的第M组待训练数据组作为待输入训练数据组,以进行下一轮训练;
其中,M的初始值为1,且当M等于待训练数据组总组数时,设定M加1后为1,初始的待训练检测模型为预设结构训练模型。
3.根据权利要求2所述的模型获取方法,其特征在于,基于所述待输入训练数据组对待训练检测模型进行训练,以获取临时关节点检测模型包括:
所述待训练检测模型的生成网络分别基于所述待训练数据组中的人体深度图像数据获取对应的预测人体三维坐标点,所有所述预测三维坐标点形成预测三维坐标点集,并基于所述预测人体三维坐标点集与所述待训练数据组中的观测人体三维关节点坐标获取生成损失值;
所述待训练检测模型的鉴别网络分别将所述预测三维坐标点集中的预测人体三维坐标点转换为预测人体二维坐标点,以获取预测二维坐标点集,并基于所述预测二维坐标点集获取鉴别损失值;
基于所述生成损失值和鉴别损失值获取生成网络损失函数值,并基于所述生成网络损失函数值对所述待训练检测模型的生成网络进行梯度调整,以获取临时关节点检测模型中的生成网络。
4.根据权利要求3所述的模型获取方法,其特征在于,所述生成网络损失函数值表达式为:
LossG=λ·LossGAN+LossContent;
LossGAN=-DW(H(G(IInput)));
其中,LossG表示生成网络损失函数值,LossGAN表示鉴别损失值,LossContent表示生成损失值,λ表示超参数,n表示人体关节点中的第n个人体关键关节点,N表示人体关节点中人体关键关节点总个数,i、j、k分别表示三维关节点坐标中的三个坐标,表示观测人体三维关节点坐标,I(i,j,k)表示预测人体三维关节点坐标,DW表示鉴别网络,G()表示生成网络,H()表示将预测人体三维坐标点转换为预测人体二维坐标点,IInput表示人体深度图像数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院上海高等研究院,未经中国科学院上海高等研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210530486.4/1.html,转载请声明来源钻瓜专利网。