[发明专利]一种结合深度学习的移动机器人门牌定位方法

说明书

本发明涉及一种结合深度学习的移动机器人门牌定位方法，包括下列步骤：(1)门牌区域提取：1)针对需要识别的门牌采集一定数量不同角度、不同光照条件下的图片，然后对门牌区域进行标注；2)采用基于深度学习的目标检测算法，将相机采集图像输入训练好的模型可以判断是否存在门牌区域，如果存在，则输出包含门牌区域的矩形框在图像中的坐标，并裁剪出门牌区域；(2)门牌倾斜矫正与识别；(3)门牌角点坐标计算；(4)机器人位姿求解。

技术领域

本发明属于移动机器人视觉定位技术领域，涉及一种将深度学习与传统图像处理相结合识别门牌号从而对室内移动机器人进行定位的方法。

背景技术

随着自动化和人工智能技术的快速发展，移动机器人开始走进寻常百姓的生活。移动机器人在酒店服务、老年护理、医疗保健等行业越来越受欢迎，并可代替人们完成一些特定任务。导航是移动机器人技术的核心，而定位是移动机器人导航的基本问题，只有准确的定位才能保证移动机器人可靠地完成任务。基于陀螺仪和里程计的惯性导航方法随时间推移会出现严重的累积误差，通过视觉进行绝对定位可有效地弥补惯性导航的累计误差。最常用的视觉定位方法是在环境中设置路标(可以是人工路标或自然路标)，通过视觉识别路标并计算摄像机和路标的相对位姿实现移动机器人定位。若要利用环境路标进行定位，首先需要在环境中发现路标并进行准确识别。实际环境中的光照、阴影等不确定因素对路标识别和定位的鲁棒性提出了很大挑战。

国内外研究人员探索了多种自然路标和人工路标用于移动机器人定位的方法。人工路标包含QR Code，Apriltag以及各种特殊形状(如环形、五边形以及三角形等)。南通大学徐一鸣等人发明了一种基于视觉路标的室内移动机器人定位方法{专利CN107832661A}，通过传统的图像增强和滤波处理，利用Canny边缘检测，分割出路标和背景，再基于Hough变换检测三个圆环的路标，最后根据路标信息和摄像头参数得到室内机器人的位置；美国密歇根大学Edwin Olson等人设计了一种对光照鲁棒性极强的AprilTag标签{GB/T7714Olson E.AprilTag:A robust and flexible visual fiducial system[C].IEEEInternational Conference on Robotics and Automation.IEEE,2011:3400-3407.}用于室内机器人导航，通过检测Apriltag标签四个角点并利用Direct Linear Transform(DLT)算法求解相机位姿，该方法需要在环境中布置大量标签，难以适应众多不适合贴标签的场景。重庆邮电大学罗元等人发明了一种基于颜色路标的移动机器人视觉导航方法{专利CN101619984}，设计了带有两个不同颜色的圆柱体作为路标用于机器人视觉导航。

为了不改变环境，利用环境中的自然路标(如门牌号等)对机器人进行定位有着更现实的意义。早在2003年Lei L等就提出了利用门的颜色与周边环境颜色的不同实现对门和门牌的定位，并进一步实现门牌号识别，从而根据门牌图像的校正几何模型完成对相机定位{GB/T 7714Lei L,Minlin Z,Guosheng Y,et al.Research on the Global Self-localization Based on the Doorplate Recognition for Mobile Robot[J].HighTechnology Letters,2003(08):71-76}。哈尔滨工程大学朱齐丹等人发明了一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法{专利CN106092086A}，该方法设计了一种基于SURF(Speed Up Robust Features)特征点的路标，在全景图像中使用改进的SURF特征点匹配算法快速地对设计的路标进行准确识别，并通过识别环境中三个路标计算出机器人在二维空间的位置。