[发明专利]一种多视图融合交通标志检测识别方法及其系统

权利要求书

1.一种多视图融合交通标志检测识别方法，所识别到的结果发送至辅助驾驶系统，其特征在于，包括以下步骤：

S1.实时采集不同视角的交通标志图像；

S2.将不同视角的交通标志图像输入至训练好的神经网络模型中，得到不同视角的特征图；

S3.建立不同视角的特征图之间的对应关系，进行特征融合，得到多视图融合结果后进行交通标志检测和信息识别，并将识别结果发送至所述辅助驾驶系统；

S3中的建立不同视角的特征图之间的对应关系，进行特征融合具体内容为：

其中，为视角平面u上的任一特征点，为视角平面v上的任一特征点，w_j,i是要确定的标量；

对于一个特定的点i，只有一个w_j,i为正，而其余的都为0；且仅当u平面上的和v平面上的对应同一个3D点时，w_j,i为正；

神经网络模型的训练包括根据训练样本图像进行特征提取的训练和多视图融合训练；

神经网络进行多视图融合训练的步骤包括以下内容：

(1)将不同视角的训练样本图片输入神经网络中，得到不同视角的特征图，并将特征图进行融合；

(2)将特征图真值分别与不同视角的特征图和融合后的特征图进行比较，得到比较结果，根据比较结果对神经网络进行进一步调整。

2.一种多视图融合交通标志检测识别系统，与辅助驾驶系统相连，其特征在于，包括：图像采集子系统、特征提取子系统和标志识别子系统；

所述图像采集子系统，用于实时采集不同视角的交通标志图像；

所述特征提取子系统，用于训练神经网络模型，将不同视角的交通标志图像输入至训练好的神经网络模型中，得到不同视角的特征图；

所述标志识别子系统，用于对所提取到的不同视角的特征图进行特征融合，得到多视图融合结果后进行交通标志检测和信息识别，并将识别结果发送至所述辅助驾驶系统；

所述特征提取子系统包括模型训练模块和特征提取模块；

所述模型训练模块，用于获取训练数据，对神经网络模型进行训练，得到训练后的神经网络模型；

所述特征提取模块，将不同视角的交通标志图像输入至训练好的神经网络模型中，得到不同视角的特征图；

所述模型训练模块包括图像特征提取训练和多视图融合训练；

所述图像特征提取训练，用于对特征提取的过程进行训练；

所述多视图融合训练，用于对多视图融合过程进行训练；

所述标志识别子系统包括对应关系建立模块、特征融合模块、标志检测模块和信息识别模块；

所述对应关系建立模块，用于建立不同视角的特征图之间的对应关系；

所述特征融合模块，用于对不同视角的特征图进行融合，将特征图真值分别与不同视角的特征图和融合后的特征图进行比较，得到比较结果，根据比较结果对神经网络进行进一步调整，得到多视图融合结果；

所述标志检测模块，用于根据所述多视图融合结果来进行交通标志的检测，得到检测结果；

所述信息识别模块，用于根据所述检测结果对交通标志所表示的信息进行识别，并进一步将识别结果发送至辅助驾驶系统。