[发明专利]基于图像检测的定位方法与装置

权利要求书

1.一种基于图像检测的定位方法，其特征在于，所述方法包括：

从程序运行的第一界面中截取目标控件的第一图像；

根据所述第一界面的布局，确定所述目标控件的布局参数；

根据所述程序当前运行的第二界面、所述第一界面和所述目标控件的布局参数，确定所述目标控件在所述第二界面的位置区域；

从所述目标控件在所述第二界面的位置区域截取所述目标控件的第二图像；

根据所述第一图像和所述第二图像，检测是否定位到所述目标控件。

2.根据权利要求1所述的方法，其特征在于，所述第一界面为所述程序运行的默认尺寸对应的界面，所述第二界面为对所述第一界面进行放大或者缩小的界面。

3.根据权利要求1所述的方法，其特征在于，所述布局参数包括所述目标控件在所述第一界面中的大小、所述目标控件在所述第一界面中相对于父容器的对齐方式、所述目标控件相对于所述父容器的边距以及所述目标控件是否随所述父容器缩放的属性值；所述父容器为所述第一界面的主窗口或者所述主窗口中的部分。

4.根据权利要求3所述的方法，其特征在于，根据所述程序当前运行的第二界面、所述第一界面和所述目标控件的布局参数，确定所述目标控件在所述第二界面的位置区域，包括：

根据所述目标控件是否随所述父容器缩放的属性值、所述目标控件在所述第一界面中的大小、所述第一界面的大小和所述第二界面的大小，确定所述目标控件在所述第二界面中的大小；

根据所述目标控件相对于所述父容器的边距、所述第一界面的大小和所述第二界面的大小，确定所述目标控件在所述第二界面中相对于所述父容器的边距；

根据所述目标控件在所述第一界面中相对于所述父容器的对齐方式、所述目标控件在所述第二界面中的大小和所述目标控件在所述第二界面中相对于所述父容器的边距，确定所述目标控件在所述第二界面的位置区域。

5.根据权利要求1-4任一所述的方法，其特征在于，根据所述第一图像和所述第二图像，检测是否定位到所述目标控件，包括：

根据所述第一图像中包括的文字和所述第二图像中包括的文字，检测是否定位到所述目标控件；

和/或者根据所述第一图像的颜色和所述第二图像中的颜色，检测是否定位到所述目标控件。

6.根据权利要求5所述的方法，其特征在于，根据所述第一图像中包括的文字和所述第二图像中包括的文字，检测是否定位到所述目标控件，包括：

分别从所述第一图像和所述第二图像中提取所述第一图像中包括的文字和所述第二图像中包括的文字；

判断所述第一图像中包括的文字和所述第二图像中包括的文字是否相同，当相同时，确定定位到所述目标控件；否则未定位到所述目标控件。

7.根据权利要求5所述的方法，其特征在于，根据所述第一图像的颜色和所述第二图像中的颜色，检测是否定位到所述目标控件，包括：

分别提取所述第一图像的颜色直方图和所述第二图像的颜色直方图；

分别从所述第一图像的颜色直方图和所述第二图像的颜色直方图中获取所述第一图像的颜色值和所述第二图像的颜色值；

判断所述第一图像的颜色值和所述第二图像的颜色值的差值是否小于或者等于预设阈值，若是小于或者等于所述预设阈值，确定定位到所述目标控件，否则未定位到所述目标控件。

8.一种基于图像检测的定位装置，其特征在于，所述装置包括：

截取模块，用于从程序运行的第一界面中截取目标控件的第一图像；

确定模块，用于根据所述第一界面的布局，确定所述目标控件的布局参数；

所述确定模块，还用于根据所述程序当前运行的第二界面、所述第一界面和所述目标控件的布局参数，确定所述目标控件在所述第二界面的位置区域；

所述截取模块，还用于从所述目标控件在所述第二界面的位置区域截取所述目标控件的第二图像；

检测模块，用于根据所述第一图像和所述第二图像，检测是否定位到所述目标控件。

9.根据权利要求8所述的装置，其特征在于，所述第一界面为所述程序运行的默认尺寸对应的界面，所述第二界面为对所述第一界面进行放大或者缩小的界面。