[发明专利]对象关键点检测方法及装置、训练方法及装置和计算设备在审
| 申请号: | 202111294166.5 | 申请日: | 2021-11-03 |
| 公开(公告)号: | CN114332483A | 公开(公告)日: | 2022-04-12 |
| 发明(设计)人: | 徐列;付灿苗;康洋;孙冲 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06V10/44 | 分类号: | G06V10/44;G06V10/82;G06V10/772;G06N3/04;G06N3/08 |
| 代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 王娟 |
| 地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 对象 关键 检测 方法 装置 训练 计算 设备 | ||
1.一种对象关键点的检测方法,包括:
基于待检测图像中的对象的姿态确定所述待检测图像对应的第一对象框,所述第一对象框与待检测图像中的对象所在的感兴趣区域相对应;
基于经训练的神经网络的输入数据的预设尺寸、所述第一对象框的框尺寸和预设扩框系数对所述第一对象框进行尺寸调整,得到第二对象框,其中,所述预设扩框系数使得所述第二对象框的宽长比介于所述预设尺寸对应的宽长比与所述第一对象框的宽长比之间,所述预设尺寸是能够被所述经训练的神经网络处理的输入数据的固定尺寸;
基于所述第二对象框得到所述待检测图像的裁剪图像,并基于所述预设尺寸对所述裁剪图像进行调整,得到所述裁剪图像对应的网络输入图像,所述网络输入图像的尺寸与所述预设尺寸相等;以及
基于经训练的神经网络对所述网络输入图像中的对象关键点进行检测。
2.根据权利要求1所述的检测方法,其中,所述基于神经网络的输入数据的预设尺寸、所述第一对象框的框尺寸和所述预设扩框系数对所述第一对象框进行调整,得到第二对象框,包括:
基于所述经训练的神经网络的输入数据的预设尺寸对应的宽数值和长数值确定所述预设尺寸对应的宽长比,作为第一宽长比;
基于所述第一对象框的框尺寸对应的宽数值和长数值确定所述第一对象框的宽长比,作为第二宽长比;
基于所述第一宽长比、所述第二宽长比以及所述预设扩框系数确定所述第一对象框的拉伸系数;以及
基于所述拉伸系数对所述第一对象框进行尺寸调整,得到第二对象框。
3.根据权利要求2所述的检测方法,其中,所述基于所述第一宽长比、所述第二宽长比以及所述预设扩框系数确定所述第一对象框的拉伸系数,包括:
确定所述第二宽长比和第一宽长比的差值与所述预设扩框系数的乘积,作为宽长比调整量;
将所述第一对象框的拉伸系数确定为所述第一宽长比与所述宽长比调整量的和。
4.根据权利要求2所述的检测方法,其中,所述基于拉伸系数对所述第一对象框进行调整得到第二对象框,包括:
在所述第一宽长比小于等于所述第二宽长比的情况下,将所述第一对象框的所述宽数值与所述拉伸系数相除,作为第二对象框的长数值,并将所述第一对象框的宽数值作为所述第二对象框的宽数值;以及
在所述第一宽长比大于所述第二宽长比的情况下,将所述第一对象框的所述长数值与所述拉伸系数相乘,作为第二对象框的宽数值,并将所述第一对象框的长数值作为所述第二对象框的长数值。
5.根据权利要求4所述的检测方法,其中,所述预设扩框系数通过以下方式确定:
获取所述第一宽长比、所述第二宽长比以及预设扩框系数之间的映射关系;以及
基于所述映射关系,确定所述第一宽长比和所述第二宽长比所对应的预设扩框系数。
6.根据权利要求5所述的检测方法,其中,所述映射关系包括预设函数关系:
S=max(0.5-|Rin-Rnet|*K,0.2),
其中S为所述预设扩框系数,Rin为所述第一宽长比,Rnet为所述第二宽长比,K为预设正数,且根据Rin-Rnet的绝对差值具有分段值,所述绝对差值越大,K越大。
7.根据权利要求4所述的检测方法,其中,所述预设扩框系数通过以下方式确定:
获取预设扩框系数的多个候选值;
基于所述预设扩框系数的每个候选值,得到测试集的每个测试图像的网络输入图像,所述测试集的每个测试图像包括对象实例以及针对所述对象实例的关键点标注;
针对每个候选值,利用所述经训练的神经网络针对所述测试集的每个测试图像的网络输入图像进行关键点检测,得到所述测试集对应的测试结果;以及
基于针对每个候选值的、所述测试集对应的测试结果,确定用于所述测试集的最佳候选值,作为所述预设扩框系数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111294166.5/1.html,转载请声明来源钻瓜专利网。





