[发明专利]一种基于环视相机的智能视觉导航系统

权利要求书

1.一种基于环视相机的智能视觉导航系统，其特征在于包括：环视相机模块(1)、超声波模块(2)、图像匹配拼接模块(3)、障碍物与目标识别模块(4)、三维地图建模模块(5)、视觉信息与超声波信息融合避障模块(6)、全景相机(7)和移动计算平台(8)；其中，环视相机模块(1)、超声波模块(2)、图像匹配拼接模块(3)运行在全景相机(7)上，障碍物与目标识别模块(4)、三维地图建模模块(5)和视觉信息与超声波信息融合避障模块(6)运行在移动计算平台(8)上；全景相机与移动计算平台之间通过网线连接完成信息传递；

环视相机模块(1)控制8个摄像头同步采集数据，并将这些图像数据传送到图像匹配拼接模块(3)，按照前后180度视场角拼接为前视图像和后视图像；同时，超声波模块(2)获取8个超声波传感器同步测距数据；图像数据与超声波数据通过网线传送给障碍物与目标识别模块(4)；障碍物与目标识别模块(4)首先对前视图像和后视图像分别进行处理，完成图像中障碍物与目标的识别，根据障碍物或目标在图像中的位置，获取相应位置的超声波传感器数据，即距离信息；然后，三维地图建模模块(5)利用障碍物或目标距离信息、环视图像数据与运动平台自身位置信息形成三维地图，并将地图传递给视觉信息与超声波信息融合避障模块(6)；视觉信息与超声波信息融合避障模块(6)结合运动平台的运动速度在三维地图中建立拒止区域，并在拒止区域内依据最优化路径选择原理，实现运动平台的避障与路径选择；

至此，完成基于环视相机的智能视觉导航系统。

2.根据权利要求1所述的一种基于环视相机的智能视觉导航系统，其特征在于所述环视相机模块(1)的功能为：实时采集移动平台周围360度范围内的图像数据。

3.根据权利要求1所述的一种基于环视相机的智能视觉导航系统，其特征在于所述超声波模块(2)的功能为：实时采集移动平台到周围障碍物的距离。

4.根据权利要求1所述的一种基于环视相机的智能视觉导航系统，其特征在于所述图像匹配拼接模块(3)的功能为：利用图像拼接算法实现图像的拼接，并将拼接后的图像按照前180度和后180度展开成两幅条带的画面，分别称为前视图像和后视图像。图像拼接算法包括：基于SIFT的图像拼接算法、基于Harris的图像拼接算法和基于FAST角点的图像拼接算法。

5.根据权利要求1所述的一种基于环视相机的智能视觉导航系统，其特征在于所述障碍物与目标识别模块(4)的功能为：利用目标识别算法实现特定目标的识别，为运动平台提供运动方向，使运动平台朝特定目标行进，障碍物的识别主要依靠图像分割与超声波测距信息。目标识别算法包括：基于CNN的目标识别算法、基于SVM的目标识别算法和基于RNN的目标识别算法。

6.根据权利要求1所述的一种基于环视相机的智能视觉导航系统，其特征在于所述三维地图建模模块(5)的功能为：以运动平台的初始位置为起点，通过采集运动平台的运行方向与速度，根据障碍物与目标识别结果结合超声波测距信息建立其周围环境的三维地图。

7.根据权利要求1所述的一种基于环视相机的智能视觉导航系统，其特征在于所述视觉信息与超声波信息融合避障模块(6)的功能为：将超声波测距信息叠加到相应方向的图像数据中，实现图像数据与测距信息的融合，并根据融合结果与三维地图的建立结果，给出运动平台的最优路径。

8.根据权利要求1所述的一种基于环视相机的智能视觉导航系统，其特征在于所述全景相机(7)的功能为：为环视相机模块(1)、超声波模块(2)与图像匹配拼接模块(3)提供集成平台，保障实现三个模块的功能。

9.根据权利要求1所述的一种基于环视相机的智能视觉导航系统，其特征在于所述移动计算平台(8)功能为：提供障碍物与目标识别模块(4)、三维地图建模模块(5)和视觉信息与超声波信息融合避障模块(6)的集成平台与运算支持。