[发明专利]一种多层异构多模态卷积神经网络集成式机器人巡检方法

说明书

本发明提出一种多层异构多模态卷积神经网络集成式机器人巡检方法，该方法是将智能巡检机器人应用于电力系统的巡检中，能够解决人工巡检所带来的问题，提高电力系统的自动化水平。该方法将图像处理技术和深度学习引入到电力系统设备智能识别中，通过巡检机器人对现场进行图像采集，将采集到的多层异构信息运用三层多模态卷积神经网络图，以解决海量现场工况下的数据自动分析和识别问题，对开关，压板，指示灯屏柜信息进行检测识别，改善电力巡检任务中的耗时耗力问题，且有效提高电力设备检测精度。

技术领域

本发明属于电力系统中机器人巡检领域，涉及一种多层异构多模态卷积神经网络集成式机器人巡检方法，适用于电力系统的电力设备的运行状态的监控，电力设备的检修。

背景技术

变电站是电力系统中的最小单元，且为电力调控最为关键的设施。变电站主要包含监控室与户外设备，变电站巡检是电力系统中重要的一环。传统的变电站巡检方式为单一的人工巡检，效率低、危险性高，且单一靠巡检员的感官和经验来检查，得出的结果未免有差错和不客观的部分。

随着智能机器人在电力系统领域应用的推广，智能巡检机器人可以实现线路勘测、线路对地安全距离的监测，达到选线、缺陷识别功能；对线路故障进行大范围的快速检查和局部的细致性检查，迅速确定故障点位置、故障性质及严重程度，为事故抢修、抢险的组织及指挥提供可靠的决策依据。输电线路巡检机器人及其携带的巡检设备能够实现自动定位、跟踪、巡检过程数字化记录。智能机器人带电巡检技术的应用推广可以提高作业现场主动安全防护水平，实现线路检修向智能辅助的带电作业检修模式转变。

近年来，机器学习发展迅猛，其在机器人的应用日渐增多。卷积神经网络为机器学习的一种，其在全图分类与区域检测的任务上取得成功。卷积神经网络侧重于总体的语义，卷积神经网络方法融合了特征提取和分类器设计，是一个端到端的识别系统。卷积神经网络是一个多层的网络，通过卷积核对输入图像进行层层变换，学习分层特征表示，将输入映射成输出的预测值。而多层异构多模态卷积神经网络方法更注重于各传感器的独立性和数据融合。每个传感器获得的信息通过每一个异构卷积神经网络来进行数据特征的学习分层。各层异构卷积神经网络的输出通过加权的方式进行集成式的管理，能够获得更高的预测值输出。因此，多层异构多模态的卷积神经网络更适合应用于智能机器人的电力巡检中。

发明内容

本发明提出一种多层异构多模态卷积神经网络集成式机器人巡检方法。将智能巡检机器人应用于电力系统的巡检中，能够解决人工巡检所带来的问题，提高电力系统的自动化水平。将图像处理技术和深度学习引入到电力系统设备智能识别中，通过巡检机器人对现场进行图像采集，将采集到的图像运用机器视觉技术进行预处理，目标分割，物体检测，目标识别分类关键技术，以解决海量现场工况下的数据自动分析和识别问题。机器人根据巡检任务要求，搭载了可见光摄像头与红外摄像头，通过这些摄像头采集到设备的状态图片，通过图像预处理，尺度不变特征变换，霍夫变换后，与历史采集的数据进行匹配对比，累计图像分析、纹理判断对设备是否出现异常做出判断。利用机器学习的目标检测算法，对开关，压板，指示灯屏柜信息进行检测识别，经过现场的验证与运行，将改善电力巡检任务中的耗时耗力问题，且有效提高了电力设备检测精度。

卷积神经网络是一类包含卷积计算并且具有深度结构的前馈神经网络，卷积神经网络是通过仿造生物的视知觉机制构建的网络，可以进行监督学习和非监督学习，卷积神经网络的隐含层内的卷积核参数共享和层间连接的系数性使得卷积神经网络能够获得更稳定的输出。

卷积神经网络包括输入层，隐含层，输出层。卷积神经网络的输入层可以处理多维数据，卷积神经网络的输入特征需要进行标准化处理。输入特征的标准化有利于卷积神经网络的学习效率和输出效果。

卷积神经网络的隐含层包含卷积层、池化层和全连接层。卷积层中卷积核包含权重系数，而池化层不包含权重系数。卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成的卷积核的每个元素对应一个权重系数和一个偏差量。卷积核在工作时，会有规律地扫过输入特征，在卷积核内对输入特征进行元素的求和偏差量的叠加，卷积核的工作模式如下：