[发明专利]一种基于三维点云与图像数据融合的药盒检测方法及其检测系统

摘要

本发明公开了一种基于三维点云与图像数据融合的药盒检测方法，包括：相机采集的药盒图像输入到优化后的U型全卷积神经网络中，提取药盒特征图像。在特征提取部分，用分组残差卷积模块提取初步特征图像，空洞空间卷积池化金字塔模块对提取初步特征图不同尺度的特征图信息，通过混合注意力模块对不同尺度的特征图信息进行融合，得到二维融合特征图，通过上采样得到分割后的药盒图像；判断其是否满足检测要求，若不满足则提取的药盒的三维信息，通过二维目标检测网络定位图像中的目标，并根据相机几何成像模型得到二维检测框对应的锥体点云。采用PointNet点云网络与特征融合网络层对锥体点云进行实例分割，得到所有的目标点。利用T‑Net网络估计目标质心并将目标点云移至质心坐标系，然后通过参数估计网络以及特征融合网络层得到三维包围箱参数的估计，最终获取药盒的大小及朝向，判断药盒种类，并结合图像信息识别药盒文字0。本发明解决了现有药盒检测中存在耗时长、误检率较高等问题。