[发明专利]一种基于三维点云与图像数据融合的药盒检测方法及其检测系统

说明书

本发明公开了一种基于三维点云与图像数据融合的药盒检测方法，包括：相机采集的药盒图像输入到优化后的U型全卷积神经网络中，提取药盒特征图像。在特征提取部分，用分组残差卷积模块提取初步特征图像，空洞空间卷积池化金字塔模块对提取初步特征图不同尺度的特征图信息，通过混合注意力模块对不同尺度的特征图信息进行融合，得到二维融合特征图，通过上采样得到分割后的药盒图像；判断其是否满足检测要求，若不满足则提取的药盒的三维信息，通过二维目标检测网络定位图像中的目标，并根据相机几何成像模型得到二维检测框对应的锥体点云。采用PointNet点云网络与特征融合网络层对锥体点云进行实例分割，得到所有的目标点。利用T‑Net网络估计目标质心并将目标点云移至质心坐标系，然后通过参数估计网络以及特征融合网络层得到三维包围箱参数的估计，最终获取药盒的大小及朝向，判断药盒种类，并结合图像信息识别药盒文字0。本发明解决了现有药盒检测中存在耗时长、误检率较高等问题。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于三维点云与图像数据融合的药盒检测方法。

背景技术

随着卷积神经网络的快速发展，已经展示了其在特征学习上的强大能力，在很多计算机视觉的任务中取得了非常重大的突破和进展。大量的计算机视觉研究主要集中在二维图像上，然而我们的真实世界是一个三维世界，摄像机在将三维场景投影到二维图像的过程中不可避免地存在着信息的损失。三维数据对光照变化、纹理变化等因素相对不敏感，药盒图像处理在强光照和弱光照条件以及纹理信息不足时容易出现算法性能下降的问题，而三维数据获取设备（如激光雷达）一般采用主动成像方式获取环境信息，不依赖于自然光条件，对环境中的光照变化、颜色变化等因素较为鲁棒。但是基于点云的三维目标检测仍存在诸多的研究难点，在检测准确率还落后于基于图像的目标检测算法。

发明内容

针对现有技术中存在不足，本发明提供了一种基于三维点云与图像数据融合的药盒检测方法，克服现有药盒检测中存在耗时长、误检率较高等问题。

本发明是通过以下技术手段实现上述技术目的的。

一种基于三维点云与图像数据融合的药盒检测方法，具体步骤如下：

步骤一：将相机采集的药盒图像输入到U型全卷积神经网络中，提取药盒特征图像；

步骤二：用分组残差卷积模块提取初步特征图像，空洞空间卷积池化金字塔模块对提取初步特征图像不同尺度的特征图信息，通过混合注意力模块对不同尺度的特征图信息进行融合，得到二维融合特征图，通过上采样得到分割后的药盒图像；

步骤三：将步骤二得到的药盒图像与步骤一种的药盒特征图像比对，是否满足检测要求，若满足检测要求，即可开始对药盒进行检测；

步骤四：若不满足检测要求，通过二维目标检测网络定位图像中的目标，并根据相机几何成像模型得到二维检测框对应的锥体点云；采用PointNet点云网络与特征融合网络层对锥体点云进行实例分割，得到所有的目标点；利用T-Net网络估计目标质心并将目标点云移至质心坐标系，然后通过参数估计网络以及特征融合网络层得到三维包围箱参数的估计，最终获取药盒的大小及朝向，判断药盒种类，并结合图像信息识别药盒文字，进而达到检测要求。

进一步的改进在于，所述分组残差卷积模块在ResNet结构基础上引入独立路径的数量获取。

进一步的改进在于，采用可分离卷积，使用3个3×3×1卷积核代替3×3×3的单个过滤器，每个核与输入层的一个通道卷积。

进一步的改进在于，所述空洞空间卷积池化金字塔模块包含空洞率分别为 6、12、18、24 的空洞卷积。

进一步的改进在于，所述混合注意力模块包含了空间注意力模块以及通道注意力模块。