[发明专利]页面控件定位方法、装置及存储介质

权利要求书

1.一种页面控件定位方法，其特征在于，包括以下步骤：

获取页面测试用例中的用例控件描述信息；

确定待测试页面中的多个候选无文字描述控件，根据各个所述候选无文字描述控件，在预设的图文映射信息库中获取各个所述候选无文字描述控件对应的控件标签信息；

调用预训练的无文字描述控件匹配模型，将各个所述控件标签信息与所述用例控件描述信息进行控件匹配，得到各个所述候选无文字描述控件对应的第一匹配度；

当根据所述第一匹配度确定所有所述候选无文字描述控件中存在与所述用例控件描述信息相匹配的目标无文字描述控件，在所述待测试页面中对所述目标无文字描述控件进行定位。

2.根据权利要求1所述的页面控件定位方法，其特征在于，所述图文映射信息库由以下步骤得到：

获取各个所述候选无文字描述控件对应的设计插图；

为各个所述候选无文字描述控件对应的所述设计插图配置所述控件标签信息；

根据所述设计插图和所述控件标签信息构建所述图文映射信息库。

3.根据权利要求1所述的页面控件定位方法，其特征在于，所述页面控件定位方法还包括：

当检测到所述待测试页面所对应的应用程序的页面控件信息发生了更新，在所述页面控件信息中获取发生更新的目标控件信息；

确定所述目标控件数据对应的控件类型；

当所述控件类型为无文字描述控件类型，利用所述目标控件信息对所述无文字描述控件匹配模型进行增量训练。

4.根据权利要求3所述的页面控件定位方法，其特征在于，检测所述应用程序的所述页面控件信息是否发生更新的过程，包括以下步骤：

获取所述应用程序的当前用户界面转换图信息和历史用户界面转换图信息；

将所述当前用户界面转换图信息和所述历史用户界面转换图信息进行信息比较，得到比较结果；

当所述比较结果为所述当前用户界面转换图信息和所述历史用户界面转换图信息不一致，确定所述应用程序的所述页面控件信息发生了更新。

5.根据权利要求4所述的页面控件定位方法，其特征在于，获取所述当前用户界面转换图信息的过程，包括以下步骤：

获取当前版本的所述应用程序的所有图形用户界面信息；

获取对各个所述图形用户界面信息中的控件元素的操作信息；

将所述图形用户界面信息作为节点，并将所述操作信息作为连接边连接对应的所述节点，得到所述当前用户界面转换图信息。

6.根据权利要求1所述的页面控件定位方法，其特征在于，根据所述第一匹配度确定所有所述候选无文字描述控件中存在与所述用例控件描述信息相匹配的目标无文字描述控件的过程，包括以下步骤：

在所有所述第一匹配度中确定数值最大的第一目标匹配度；

当所述第一目标匹配度大于预设的第一匹配度阈值，确定所有所述候选无文字描述控件中存在与所述用例控件描述信息相匹配的目标无文字描述控件，并且所述目标无文字描述控件为所述第一目标匹配度对应的所述候选无文字描述控件。

7.根据权利要求1所述的页面控件定位方法，其特征在于，所述调用预训练的无文字描述控件匹配模型，将所述用例控件描述信息与各个所述控件标签信息进行控件匹配，得到各个所述候选无文字描述控件对应的第一匹配度，包括：

确定所述待测试页面中的多个候选有文字描述控件，并获取各个所述候选有文字描述控件的文本描述信息；

调用预训练的有文字描述控件匹配模型，将所述用例控件描述信息与各个所述文本描述信息进行控件匹配，得到各个所述候选有文字描述控件对应的第二匹配度；

当根据所述第二匹配度确定所有所述候选有文字描述控件中不存在与所述用例控件描述信息相匹配的目标有文字描述控件，调用预训练的无文字描述控件匹配模型，将所述用例控件描述信息与各个所述控件标签信息进行控件匹配，得到各个所述候选无文字描述控件对应的第一匹配度。