[发明专利]界面图片的识别方法及装置

权利要求书

1.一种界面图片的识别方法，包括：

获取待识别的界面图片；

根据预设的对象识别规则，确定所述界面图片中包含的界面对象的对象属性信息；

根据所述界面图片中包含的界面对象的对象属性信息，识别所述界面图片中包含的界面对象；

根据所述界面图片中包含的界面对象识别所述界面图片。

2.根据权利要求1所述的方法，其中，所述对象识别规则包括：根据预设的对象识别模型进行识别的规则；则所述方法执行之前，进一步包括：

获取样本图片以及与所述样本图片相对应的样本标注信息，根据预设的机器学习算法对所述样本图片以及与所述样本图片相对应的样本标注信息进行训练，以得到所述预设的对象识别模型。

3.根据权利要求2所述的方法，其中，所述样本标注信息包括：所述样本图片中包含的样本对象的对象属性信息；

其中，所述样本对象的对象属性信息和/或所述界面对象的对象属性信息包括以下中的至少一个：对象位置、对象尺寸、对象形状、对象名称、对象类型、以及对象结构；其中，所述界面对象包括：组件、和/或控件。

4.根据权利要求3所述的方法，其中，所述对象类型包括以下中的至少一个：按钮类型、输入框类型、文本类型以及复合类型；

所述对象结构包括：对象中包含的元素数量以及各个元素之间的关系；其中，所述各个元素之间的关系包括：父子关系、兄弟关系、和/或相对位置关系。

5.根据权利要求1-4任一所述的方法，其中，所述根据所述界面图片中包含的界面对象的对象属性信息，识别所述界面图片中包含的界面对象包括：

根据所述界面图片中包含的界面对象的对象属性信息，确定所述界面图片中包含的界面对象的数量；

分别针对所述界面图片中包含的每个界面对象，根据该界面对象的对象属性信息确定该界面对象在所述界面图片中的对象区域，根据所述对象区域对该界面对象进行识别。

6.根据权利要求1-5任一所述的方法，其中，所述界面图片为程序界面图片，则所述根据所述界面图片中包含的界面对象识别所述界面图片之后，进一步包括：

根据预设的对象代码库，确定所述界面图片中包含的界面对象的对象代码，并根据所述界面图片中包含的界面对象的对象代码创建所述与所述界面图片相对应的界面代码。

7.根据权利要求1-6任一所述的方法，其中，所述界面图片为餐品类界面图片，所述界面图片中包含的界面对象为餐品类对象。

8.一种界面图片的识别装置，包括：

获取模块，适于获取待识别的界面图片；

属性确定模块，适于根据预设的对象识别规则，确定所述界面图片中包含的界面对象的对象属性信息；

对象识别模块，适于根据所述界面图片中包含的界面对象的对象属性信息，识别所述界面图片中包含的界面对象；

图片识别模块，适于根据所述界面图片中包含的界面对象识别所述界面图片。

9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的界面图片的识别方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的界面图片的识别方法对应的操作。