[发明专利]基于伪点云的目标检测方法、装置、电子设备和存储介质在审
| 申请号： | 202210508913.9 | 申请日： | 2022-05-10 |
| 公开（公告）号： | CN114842313A | 公开（公告）日： | 2022-08-02 |
| 发明（设计）人： | 陈禹行;彭微;李雪;范圣印 | 申请（专利权）人： | 北京易航远智科技有限公司 |
| 主分类号： | G06V10/80 | 分类号： | G06V10/80;G06V10/25;G06V10/26;G06V10/764;G06V20/58;G06V10/82;G06V10/40;G06N3/04;G06N3/08 |
| 代理公司： | 北京庚致知识产权代理事务所(特殊普通合伙) 11807 | 代理人： | 孙敬霞 |
| 地址： | 100015 北京市朝*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 伪点云 目标 检测 方法 装置 电子设备 存储 介质 | ||
1.一种基于伪点云的目标检测方法，其特征在于，包括：
获取第一图像的第一伪点云数据，所述第一伪点云数据表征的目标特征包括三维3D特征和类别特征；
根据所述第一图像的第一伪点云数据，获取所述第一图像的3D候选框信息；
根据所述第一图像的3D候选框信息和所述第一图像的第一伪点云数据，获取3D候选框的第一伪点云数据；
根据所述3D候选框的第一伪点云数据，获得所述3D候选框的第二伪点云数据，所述第二伪点云数据表征的目标特征包含所述3D候选框的对应目标的3D特征、类别特征和内部特征；
根据所述3D候选框的第二伪点云数据，通过特征编码获得所述3D候选框的第一特征向量，所述特征编码能够使所述第二伪点云数据表征的目标特征在分布上与激光点云数据表征的目标特征一致；
根据所述3D候选框所对应目标的第一特征向量获得3D检测框信息。
2.根据权利要求1所述基于伪点云的目标检测方法，其特征在于，所述获取所述第一图像的第一伪点云数据，包括：
获取所述第一图像的深度信息；
获取所述第一图像的语义信息；
根据所述第一图像的深度信息和语义信息，通过坐标转换生成所述第一图像的第一伪点云数据。
3.根据权利要求1或2所述基于伪点云的目标检测方法，其特征在于，所述第一伪点云数据和/或所述第二伪点云数据具有四个维度，所述四个维度中的一个维度表示点的类别。
4.根据权利要求1所述基于伪点云的目标检测方法，其特征在于，所述根据所述3D候选框的第一伪点云数据，获得所述3D候选框的第二伪点云数据，包括：
根据所述3D候选框的第一伪点云数据，获取所述3D候选框所对应目标的空间关联特征；
根据所述3D候选框的第一伪点云数据，获取所述3D候选框所对应目标的通道关联特征；
根据所述3D候选框的第一伪点云数据中的位置信息，获取所述3D候选框所对应目标的3D相对位置特征；
根据所述3D候选框所对应目标的空间关联特征、通道关联特征和3D相对位置特征，获得所述3D候选框的第二伪点云数据；
优选地，所述3D候选框的第二伪点云数据通过预训练的特征关联网络获得，所述特征关联网络包括点间注意力模块、通道间注意力模块、位置编码模块和融合模块，所述点间注意力模块用于获取所述空间关联特征，所述通道间注意力模块用于获取所述3D候选框所对应目标的通道关联特征，所述位置编码模块用于获取所述3D候选框所对应目标的3D相对位置特征，所述融合模块用于获得所述3D候选框的第二伪点云数据；
优选地，所述根据所述3D候选框的第二伪点云数据，通过特征编码获得所述3D候选框所对应目标的第一特征向量，包括：采用关键点相对坐标编码方式将所述3D候选框的第二伪点云数据编码为所述3D候选框的伪点云目标特征数据，所述伪点云目标特征数据在分布上与激光点云目标特征数据一致，所述激光点云目标特征数据根据所述3D候选框的激光点云数据编码得到；将所述伪点云目标特征数据解码为固定大小的第一特征向量；
优选地，所述根据所述3D候选框的第二伪点云数据，通过特征编码获得所述3D候选框所对应目标的第一特征向量，包括：通过预训练的第一目标特征编码网络对所述3D候选框的第二伪点云数据进行特征编码以获得所述3D候选框所对应目标的第一特征向量，所述第一目标特征编码网络包括编码器和解码器；
优选地，所述第一目标特征编码网络根据所述3D候选框所对应目标的第一特征向量与第二特征向量训练得到，所述第二特征向量由第二目标特征编码网络根据对应所述3D候选框的激光点云数据获得，所述第二目标特征编码网络与所述第一目标特征编码网络结构相同；
优选地，所述第一目标特征编码网络的损失函数包含特征相似性损失，所述特征相似性损失根据所述3D候选框所对应目标的第一特征向量和第二特征向量得到；
优选地，所述特征相似性损失为所述3D候选框所对应目标的第一特征向量与第二特征向量之间的KL散度损失；
优选地，还包括：根据所述3D候选框所对应目标的第一特征向量获得所述3D检测框的置信度；
优选地，所述3D检测框信息基于预训练的第一前馈神经网络获得，和/或所述3D检测框的置信度基于预训练的第二前馈神经网络获得；
优选地，3D候选框检测网络、特征关联网络、第一目标特征编码网络、第一前馈神经网络和/或第二前馈神经网络的损失函数表示为：
Ltotal＝α1LRPN+α2Lconf+α3Lreg+α4LKLD
其中，Ltotal表示损失函数的函数值，α1、α2、α3、α4表示权重系数，
LKLD表示特征相似性损失，Lconf表示检测框置信度计算损失，Lreg表示3D检测框回归损失，LRPN表示3D候选框检测网络的损失；
其中，所述3D候选框检测网络用于获取所述3D候选框信息，所述特征关联网络用于获得所述3D候选框的第二伪点云数据，所述第一目标特征编码网络用于获得所述3D候选框所对应目标的第一特征向量，所述第一前馈神经网络用于获得所述3D检测框信息，所述第二前馈神经网络用于获得所述3D检测框的置信度。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京易航远智科技有限公司，未经北京易航远智科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202210508913.9/1.html，转载请声明来源钻瓜专利网。
