[发明专利]一种用于电表终端故障识别的图像训练方法

权利要求书

1.一种用于电表终端故障识别的图像训练方法，其特征在于：该方法包括以下步骤：

(1)搭建基于深度学习的网络架构；

(2)使用透视变换技术丰富样本，在相机只有旋转变化的情况下，所有的图片都由特定的透视变换矩阵得到，透视变换矩阵是3X3的矩阵，除去缩放因子，其有八个自由度，确定了变换前的坐标和变换后的坐标关系：

q＝H*p

式中，q表示变换后的坐标(x’,y’,z’)，H表示透视变换矩阵，p表示原坐标(x,y,z)，该公式为标准的透视变换齐次矩阵公式；

(3)使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；

(4)训练电表终端检测识别网络，用于识别电表终端和表盘四个角点所在区域；

(5)使用图像测量的算法，精确定位表盘区域的四个角点坐标；

(6)使用透视变换技术获取电表终端表盘区域的“正面”图像，生成样本时，采用透视变换算法，生成仿真样本，绕3个空间自由度的旋转角度分别为a，范围为-5～15度，b范围为-5～5度，v₁的范围为-10～10度；

(7)将正面图像和对应的缺陷类别作为标记样本，根据电表终端特性，电表终端的标记区域算法自动调整标记框的长宽比，R₁＝W/H₁，R₁的范围为1.2-1.5；送入网路进行训练时，根据标记的区域，如果标记区域长宽比不符合这个规则时，自动修改目标的长度，以便符合这个比例，再送入深度学习网络进行训练；

其中，在对图像进行透视变换时，若已知相机的旋转角度，由如下计算方法得出透视变换矩阵H，利用H矩阵对图像进行变换：

在相机坐标系中设点的三维坐标为(xc,yc,zc)，对应的像点的像素坐标为(u,v,1)；

则由小孔成像模型知：

fx表示x轴方向缩放系数，fy表示y轴方向缩放系数，u0，v0表示平移；

在三维坐标系中，旋转用旋转矩阵表示，推导如下：

考虑二维坐标系xOy，点p(x,y)绕原点O逆时针旋转角度θ后得到点q(x1,y1)，用矩阵表示如下：

标准公式，θ为绕z轴旋转角度；

则在三维坐标系中，绕z轴的变换用如下旋转矩阵Rz(θ)表示：

式中为公式扩展到标准齐次的写法；

同理得，绕x轴变换的Rx(α)：

式中为公式扩展到标准齐次的写法；

绕y轴变换的Ry(β):

式中为公式扩展到标准齐次的写法；

所有三维空间的旋转由三个基本旋转矩阵组合得到：

R＝Rx(α)*Ry(β)*Rz(θ)*p＝R*p

式中为公式扩展到标准齐次的写法；

其中R为旋转矩阵，是单位正交矩阵，表示三维空间中的任一旋转；

在相机成像模型中，当相机旋转后，投影矩阵为：

式中是将绕三个轴旋转，小孔成像合并到一起的变换关系；

得到像点坐标为(u1,v1)，则对相机旋转前后的像点进行逆变换得到：

式中为对矩阵求逆；

即得到了相机旋转前后的像素点对应关系：

A是小孔成像矩阵，R是旋转矩阵；其中H为透视变换矩阵，又称单应性矩阵；

由于透视矩阵具有八个有效参数，而每一对对应点提供了两组约束，则最少需四组对应点，任意三点不共线，即唯一确定一个透视变换；在对图像进行恢复透视变换时，需要被测物体的表面正对相机，与光轴垂直，若不知道相机的旋转矩阵，则最少需要某位置上的四组对应点，利用直接法求出对应的矩阵参数。