[发明专利]多视觉传感器信息融合的内河船舶自动识别系统

摘要

一种多视觉传感器信息融合的内河船舶自动识别系统，包括监视航道的大范围监控视觉传感器、进行特写抓拍船体图像以及船名标志牌图像的快速球视觉传感器和用于船舶对象跟踪、图像识别以及内河交通状况统计的微处理器，大范围监控视觉传感器实现航道上的过往的船舶的多目标跟踪，船舶进入监控领域，系统自动产生一个事件并同时生成以该船舶ID号，控制快速球视觉传感器的转动与调焦并对准跟踪船舶进行特写抓拍，对特写图像进行轮廓检测估算出船舶船体露出水面的高度和载重量，同时船舶驾驶舱定位抓拍识别船名标志牌号。本发明通过多视觉传感融合以及计算机自动收集内河交通的基本数据，能进行有效的内河交通管理。

主权项

1.一种多视觉传感器信息融合的内河船舶自动识别系统，其特征在于：所述的内河船舶自动识别系统包括监视航道的大范围监控视觉传感器、进行特写抓拍船体图像以及船名标志牌图像的快速球视觉传感器和用于船舶对象跟踪、图像识别以及内河交通状况统计的微处理器，所述的大范围监控视觉传感器、快速球视觉传感器与微处理器连接，所述的微处理器包括：图像显示单元，用于显示整个内河航道中的视频图像、跟踪船舶的整体图像以及跟踪船舶的驾驶舱图像；大范围监控视觉传感器标定模块，用于建立空间的航道图像与所获得的视频图像的对应关系；视频数据融合模块，用于控制快速球视觉传感器的转动与调焦，使得快速球视觉传感器能对准跟踪船舶进行特写抓拍；虚拟线定制模块，用于定制在监控航道上的检测虚拟线，三条检测虚拟线间隔相等并垂直于航道，三条检测虚拟线在大范围监控视觉传感器的视场范围内，中间一条检测虚拟线与快速球视觉传感器的安装位置相交；船舶进入检测虚拟线检测模块，用于如有船舶进入检测虚拟线，自动产生一个事件，每自动产生一个事件时调用相应的处理模块；船舶ID号以及存放跟踪船舶图像文件夹的自动生成模块，用于对刚进入大范围监控视觉传感器的视场最外边的虚拟线的船舶进行命名，并同时生成一个以该船舶ID号命名的文件夹，用于存放该船舶的特写图像；船舶整体图像定位抓拍模块，用于定位抓拍该船舶的整体的图像；船舶轮廓检测模块，用于检测该船舶的边缘轮廓以及估算出该船舶船体露出水面的高度，采用最优的阶梯型边缘检测算法-即canny边缘检测算法对该船体的特写图像进行边缘检测，获得船体载重特征以及驾驶舱特征信息；多目标跟踪模块，用于跟踪航道上的过往的船舶，在底层特征层将航道背景中把前景船舶的像素点提取出来，该跟踪模块包括：自适应背景消减单元，用于实时分割动态目标，使用混合高斯分布模型来表征图像帧中每一个像素点的特征，当获得新的图像帧时，更新混合高斯分布模型，在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景，如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点；连通区域标识单元，用于提取前景船舶对象，采用八连通区域提取算法，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；跟踪单元，用于利用船舶目标对象的颜色特征在视频图像中找到运动船舶目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，重复这个过程就可以实现对目标的连续跟踪；船舶驾驶舱定位抓拍模块，用于定位该船舶的悬挂船名标志牌或者灯箱的大致位置并对该位置进行抓拍船名标志牌号的图像，当被跟踪的船舶目标对象经过检测虚拟线时，计算机自动发出一系列指令控制快速球视觉传感器2转动到船舶目标对象所处的方位、对好焦距然后进行抓拍，抓拍的图像至少有三张，其中一张图像是正侧位，另外两张图像分别是左右斜视位；船名标志牌号识别模块，用于识别过往船舶的船名标志牌号，该识别模块包括：基于颜色模型的船名标志牌的定位单元，用于确定船名标志牌在船体的位置；采用基于均匀颜色空间的LUV颜色模型和边缘轮廓算法来定位船名标志牌；首先进行粗判断所抓拍的图像中是否有蓝色或者白色存在，如果存在着较为明显的蓝色部分或较为明显的白色部分，结合边缘轮廓算法来确定船名标志牌的位置；船名标志牌的提取单元，用于将船名标志牌从船体中单独提取出来，采用颜色互补的关系提取船名标志牌；船名标志牌的校正单元，用于将所提取船名标志牌图像矫正为正视图像，通过hough变换将直角坐标转换到参数坐标系，利用K均值直线拟合算法，检测船牌的两个角度，再利用“旋转+错切”变换的方法，即先对倾斜角度进行旋转作第一次矫正，再进行错切变化做第二次矫正，对变形角度进行拉伸变换，把整个牌照矫正成一个标准的正视牌照；船名标志牌的字符分割单元，用于将矫正后的船名标志牌上的字符进行分割；采用模版匹配结合垂直与水平投影法对船名标志牌上的各字符进行分割；字符识别单元，用于将分割后的各个船名标志牌的字符进行识别，首先要进行字符归一化处理，将字符归一化到统一的大小，对于汉字识别采用分类器的识别方法，将归一化处理后的汉字字符与标准汉字进行匹配来进行识别；对于英文字母、阿拉伯数字识别采用基于BP神经网络的识别方法；船舶基本信息检索模块，用于以船名标志牌号为主键，在船舶基本信息表中查询船舶基本信息。