[发明专利]手势关键点检测方法、装置、计算机设备和存储介质在审
申请号: | 201911413461.0 | 申请日: | 2019-12-31 |
公开(公告)号: | CN111160288A | 公开(公告)日: | 2020-05-15 |
发明(设计)人: | 赵突 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 张丽颖;刘蔓莉 |
地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 手势 关键 检测 方法 装置 计算机 设备 存储 介质 | ||
1.一种手势关键点检测方法,其特征在于,所述方法包括:
获取待检测图像,所述待检测图像中包含手势特征;
通过已训练的手势检测模型提取所述待检测图像中的手势特征,输出所述手势特征所在的区域,得到至少一个目标区域;
通过已训练的关键点回归模型提取各个所述目标区域中的关键点的特征,输出各个所述目标区域的关键点的位置信息,所述已训练的手势检测模型和所述已训练的关键点回归模型是单独训练得到的。
2.根据权利要求1所述的方法,其特征在于,生成所述已训练的关键点回归模型,包括:
获取多个训练图像,所述训练图像携带手势对应的多个关键点位置信息;
输入各个所述训练图像至关键点回归模型,输出各个所述关键点的预测位置信息;
根据各个所述关键点的位置信息和预测位置信息的差异度,计算所述关键点回归模型的损失值;
当所述损失值位于预设损失值区间时,得到所述已训练的关键点回归模型。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当所述损失值不位于所述预设损失值区间时,根据所述损失值更新所述关键点回归模型的模型参数,得到中间关键点回归模型;
执行输入各个所述训练图像至所述中间关键点回归模型,直至所述中间关键点回归模型的损失值位于所述预设损失值区间时,得到所述已训练的关键点回归模型。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述已训练的关键点回归模型包括卷积层、池化层和回归层,所述通过已训练的关键点回归模型提取各个所述目标区域中的关键点的特征,输出各个所述目标区域的关键点的位置信息,包括:
输入各个所述目标区域至所述卷积层,通过所述卷积层中的卷积核对各个所述目标区域执行卷积运算,得到各个所述目标区域对应的卷积特征图;
输入各个所述卷积特征图至所述池化层,通过所述池化层执行池化运算,得到对应的池化特征图;
输入各个所述池化特征图至所述回归层,回归出各个所述目标区域关键点的位置信息。
5.根据权利要求4所述的方法,其特征在于,所述回归层包括至少一个全连接层。
6.一种手势关键点检测装置,其特征在于,所述装置包括:
数据获取模块,用于获取待检测图像,所述待检测图像中包含手势特征;
区域检测检测模块,用于通过已训练的手势检测模型提取所述待检测图像中的手势特征,输出所述手势特征所在的区域,得到至少一个目标区域;
关键点检测模块,用于通过已训练的关键点回归模型提取各个所述目标区域中的关键点的特征,输出各个所述目标区域的关键点的位置信息,所述已训练的手势检测模型和所述已训练的关键点回归模型是单独训练得到的。
7.根据权利要求6所述的装置,其特征在于,所述装置包括:
模型生成模块,用于生成所述已训练的关键点回归模型,其中所述模型生成模块,包括:
数据获取单元,用于获取多个训练图像,所述训练图像携带手势对应的多个关键点位置信息;
预测单元,用于输入各个所述训练图像至关键点回归模型,输出各个所述关键点的预测位置信息;
损失值计算单元,用于根据各个所述关键点的位置信息和预测位置信息的差异度,计算所述关键点回归模型的损失值;
模型生成单元,用于当所述损失值位于预设损失值区间时,得到所述已训练的关键点回归模型。
8.根据权利要求6或7所述的装置,其特征在于,所述关键点检测模块具体用于输入各个所述目标区域至所述卷积层,通过卷积层中的卷积核对各个所述目标区域执行卷积运算,得到各个所述目标区域对应的卷积特征图,输入各个所述卷积特征图至池化层,通过所述池化层执行池化运算,得到对应的池化特征图,输入各个所述池化特征图至回归层,回归出各个所述目标区域关键点的位置信息,其中所述已训练的关键点回归模型包括所述卷积层、所述池化层和所述回归层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911413461.0/1.html,转载请声明来源钻瓜专利网。