[发明专利]用户界面代码生成方法、装置、电子设备及存储介质

权利要求书

1.一种用户界面代码生成方法，其特征在于，包括：

获取多张目标用户界面图；

针对每张目标用户界面图，采用预设的训练至收敛的检测识别模型，对所述目标用户界面图中的目标元素及界面边界进行检测和识别，以获得目标元素信息及界面边界信息；

根据所述目标元素信息及界面边界信息确定各目标用户界面图之间的界面跳转关系信息；

根据所述目标元素信息以及所述界面跳转关系信息生成对应的目标代码。

2.根据权利要求1所述的方法，其特征在于，所述目标元素信息包括：目标元素颜色信息，所述界面边界信息包括：界面边界颜色信息；

所述根据所述目标元素信息及界面边界信息确定各目标用户界面图之间的界面跳转关系信息，包括：

根据所述目标元素颜色信息及界面边界颜色信息确定各目标用户界面图之间的界面跳转关系信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标元素颜色信息及界面边界颜色信息确定各目标用户界面图之间的界面跳转关系信息，包括：

将任意一张目标用户界面图中的目标元素颜色信息与其他至少一张目标用户界面图中的存在界面边界的界面边界颜色信息进行匹配；

若确定某张目标用户界面图中的目标元素颜色信息与其他某张目标用户界面图中的界面边界颜色信息相匹配，则确定该两张目标用户界面图之间存在跳转关系信息；

获取该两张目标用户界面图的标识信息，以及目标元素的标识信息；

根据该两张目标用户界面图的标识信息，以及目标元素的标识信息构建界面跳转关系信息。

4.根据权利要求1所述的方法，其特征在于，所述针对每张目标用户界面图，采用预设的训练至收敛的检测识别模型，对所述目标用户界面图中的目标元素及界面边界进行检测和识别，以获得目标元素信息及界面边界信息，包括：

将每张目标界面图输入至预设的第一训练至收敛的元素检测识别模型中，通过所述第一训练至收敛的元素检测识别模型对所述目标用户界面图中的目标元素进行检测和识别，输出目标元素信息；

将每张目标界面图输入至预设的第二训练至收敛的边界检测识别模型中，通过所述第二训练至收敛的边界检测识别模型对所述目标用户界面图中的界面边界进行检测和识别，输出界面边界信息。

5.根据权利要求4所述的方法，其特征在于，所述第一训练至收敛的元素检测识别模型包括第一训练至收敛的元素检测识别子模型及第二训练至收敛的元素检测识别子模型；

所述将每张目标界面图输入至预设的第一训练至收敛的元素检测识别模型中，通过所述第一训练至收敛的元素检测识别模型对所述目标用户界面图中的目标元素进行检测和识别，输出目标元素信息，包括：

将每张目标界面图输入至第一训练至收敛的元素检测识别子模型中，通过所述第一训练至收敛的元素检测识别子模型对所述目标用户界面图中的目标元素的类型及位置进行检测和识别，输出目标元素的类型信息及目标元素的位置信息；

将所述目标元素的类型信息及目标元素的位置信息输入至第二训练至收敛的元素检测识别子模型，通过所述第二训练至收敛的元素检测识别子模型对所述目标元素的颜色进行识别，输出目标元素的颜色信息。

6.根据权利要求5所述的方法，其特征在于，所述第一训练至收敛的元素检测识别子模型为YOLOv3模型。

7.根据权利要求5所述的方法，其特征在于，所述将每张目标界面图输入至预设的第二训练至收敛的边界检测识别模型中，通过所述第二训练至收敛的边界检测识别模型对所述目标用户界面图中的界面边界进行检测和识别，输出界面边界信息，包括：

将每张目标界面图输入至预设的第二训练至收敛的边界检测识别模型中，通过所述第二训练至收敛的边界检测识别模型对目标用户界面图中的界面边界进行检测；

若确定目标用户界面图中存在界面边界，则对所述界面边界的颜色进行识别，输出所述界面边界的颜色。