[发明专利]一种基于有向图和深度学习的电路识别方法

说明书

本发明涉及一种基于有向图和深度学习的电路识别方法，借助电流与有向图的共通性，将视野内的实物电路图自动识别，并生成相对应的有向图，从而实现对实验器材连接的正误判断；输入图片或视频，模板匹配区分器材的正负端子，将所有器材的正负端子定位并固定编号；利用实例分割对导线进行3D数据信息训练并实现分割，利用实例分割对器材数据集进行训练并实现分割，判断分割出来的导线两端分别与何种器材存在交叠来判断连接；识别出每根导线两端分别为几号节点，生成整体有向图。本发明方法的优势是可以根据不同电路生成对应的有向图，适应性强，且可以清晰看出电流的流向，从而更好判断连接的正确性，识别效果也很好。

技术领域

本发明涉及一种基于有向图和深度学习的电路识别方法。

背景技术

在现有的利用计算机视觉和深度学习对初高中物理电路实验进行打分的系统中，最重要的部分就是对于整个电路回路的连接是否正确的识别判断。由于实验器材的不同摆放顺序、电表量程的选择以及导线的不同接法，使得整个回路存在多种可能性，这样就对电路连接识别造成困难，从而再打分时出现误差。此时需要提出一种方法，基于与电流有相似性的有向图，使得我们可以排除这些变化因素，较为准确地识别出视野中的整体回路连接，确定器材连接逻辑，从而对连接是否正确进行判断。

传统的模板匹配方法效果如图2所示，即给出需要识别的图像，然后根据模板寻找出相似的区域。但是传统方法十分局限，在实践过程中，由于图像拍摄时间、角度、环境的不同，使得目标图像中目标区域与模板图像会存在一定的差异。这类算法虽然运算过程简单，但由于其面向所有特征点施加距离计算，对目标物体没有针对性，所以对背景变化非常敏感。并且当模板图像与目标图像之间存在非刚性形变、遮挡等复杂变换时，匹配精度会大幅度下降。

所以需要运用基于多特征融合的共生矩阵模板匹配算法，利用共生矩阵从多特征融合所获取的大量数据中学习图像之间的相似性，能够很好的对抗光照变化、背景杂乱、几何形变、遮挡等复杂情况。

共生矩阵其实是一个对称矩阵，其对角线上的元素为其自身像素在图中出现的次数，而共生矩阵的求解实质上就是遍历图像修改权重累计求和的过程。通过共生矩阵我们可以了解到两个像素值在同一区域内共同出现的概率。

发明内容

本发明的目的在于提出一种基于有向图和深度学习的电路识别方法。

本发明提出的基于有向图和深度学习的电路识别方法，借助电流与有向图的共通性，将视野内的实物电路图自动识别，并生成相对应的有向图，从而实现对实验器材连接的正误判断，具体步骤如下：

(1)，先将输入的图片或视频中所有的实验器材的正负端子识别出来，利用改进的模板匹配算法，依靠给出的对照模板，加入相似度特征函数，对整个画面中的对象进行匹配识别，从而筛选出相似度最高的部分；

(2)，将步骤(1)中识别出的所有器材端子进行编号并固定；

(3)，利用点云实例分割ASIS对输入图片/视频的视野内的导线进行3D数据信息的训练，从而实现对于视野内的每根导线走向的判断，所述每根导线走向的判断对于相交或重叠的情况，也可以识别完好；

(4)，对于利用实例分割Mask-RCNN实现除步骤(3)经过识别的每根导线外其他器材的分割训练，从而实现将视野内的所有器材都分割完毕；

(5)，根据分割后的场景，在分割后的效果图中，判断导线两端分别与导线之外的哪个器材的分割部分有嵌入或临界关系，从而判定导线两端分别与哪个器材相连接；

(6)，利用掩膜融合算法，在导线两端与步骤(2)固定好编号的所有器材端子之间进行距离判别，而对于已有的编号利用OCR识别，从而进一步确定导线两端分别与器材的哪个端子相连接；

(7)，根据导线的走向，依次梳理导线两端连接的器材端子编号，将其作为节点，从而生成最后的有向图。