[发明专利]一种基于旋转目标检测的指针式仪表自动读数方法

权利要求书

1.一种基于旋转目标检测的指针式仪表自动读数方法，其特征在于，包括以下步骤：

步骤(1)，表盘区域提取与透视校正，获得表盘区域校正图像；

步骤(2)，指针检测与细化，具体步骤如下：

步骤2.1)构建并训练基于R³Det的改进型旋转目标检测网络，通过旋转目标检测网络获得指针旋转边界框；

步骤2.2)根据指针旋转边界框构建指针区域的蒙版，叠加到表盘区域校正图像上，并进行阈值分割，获得只包含指针区域的二值图像；

步骤2.3)对步骤2.2)得到的只包含指针区域的二值图像进行带方向的腐蚀、连通域标记，并对最大的连通域作最小二乘直线拟合，获得指针骨架；

步骤(3)，刻度值识别；

步骤(4)，读数计算。

2.根据权利要求1所述的基于旋转目标检测的指针式仪表自动读数方法，其特征在于，所述步骤(1)的具体步骤如下：

步骤1.1)，将原始图像输入训练好的Fast SCNN网络，生成表盘区域掩膜图像，所述表盘区域掩膜图像为二值图像，掩膜图像中白色为网络预测出的表盘区域，黑色为背景；

步骤1.2)，对表盘区域掩膜图像进行椭圆检测，获得表盘轮廓的拟合椭圆，表盘椭圆的中心坐标、长半轴、短半轴以及倾角分别记为(x_c,y_c)、a、b、θ；

步骤1.3)，利用中心为(x_c,y_c)、边长为2a的方形框截取表盘区域图像；

步骤1.4)，利用表盘椭圆的中心坐标(x_c,y_c)、长半轴a、短半轴b以及倾角θ，计算透视变换前后的表盘椭圆四个顶点A、B、C、D和A'、B'、C'、D'的坐标：

式中，点A、点B为表盘椭圆长半轴顶点，点C、点D为表盘椭圆短半轴顶点，利用变换前后的顶点坐标得到透视变换矩阵M，再将表盘区域图像和透视变换矩阵M点乘获得表盘区域校正图像。

3.根据权利要求1所述的基于旋转目标检测的指针式仪表自动读数方法，其特征在于，所述步骤2.1)的具体步骤如下：

步骤2.1.1)，构建得到包含改进的MobileNetv2骨干网络、FPN特征金字塔结构、特征精炼模块和旋转目标检测器的旋转目标检测网络；所述改进的MobileNetv2骨干网络包括对MobileNetv2模型的每个卷积层都进行Batch Norm归一化处理；分别将MobileNetv2模型的第3、4、6个bottleneck结构的输出特征图引出，作为原网络中FPN结构的输入；对MobileNetv2网络的倒残差块进行改进，在Depth-wise卷积模块之后加入高效的注意力模块ECA-net，再令ECA-net输出的权重向量与Depth-wise卷积结果在通道维度上相乘，最后将此结果输入到后续的Point-wise卷积模块；

其中，所述改进的MobileNetv2骨干网络用以替换原来的ResNet骨干网络，用于提取表盘区域图像特征；FPN特征金字塔结构逐层获取骨干网络提取的特征，并对不同尺度特征进行融合，融合后的特征作为特征精炼模块的输入；特征精炼模块对指针的边界框的位置信息重新编码，重建整个特征图来实现特征对齐，使检测的指针的边界框更加精准；旋转目标检测器实现带方向的边界框的检测和目标的分类；

步骤2.1.2)，从采集的仪表图像中裁剪出表盘图像，去除背景，并通过缩放、旋转、翻转的方式进行数据集的扩充，获得第二数据集；采用图像标注工具Labelme标注第二数据集，获得指针区域的位置标签文件，将表盘图像和对应的位置标签文件按4:1划分为训练集和测试集，将训练集输入到上述步骤2.1.1)中构建的旋转目标检测网络进行训练，利用测试集对本网络进行测试；再将步骤1.4)中获得的表盘区域校正图像输入到训练好的网络中，获得指针旋转边界框。