[发明专利]模型训练方法、装置及存储介质

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取多个第一样本数据，所述第一样本数据通过录制终端的运行过程得到，所述第一样本数据包括第一样本图像和第一目标操作，所述第一样本图像为所述终端显示的界面的图像，所述第一目标操作为在所述界面中执行的操作；

获取初始化的网络模型，所述网络模型用于根据任一界面的图像获取多个参考操作对应的操作分值，所述参考操作对应的操作分值用于表示通过所述网络模型确定的在所述界面中执行所述参考操作的概率；

根据所述多个第一样本数据对所述网络模型进行训练；

获取多个第二样本数据，所述第二样本数据通过监测所述终端的运行过程得到，所述第二样本数据包括第二样本图像和第二目标操作；

根据所述多个第二样本数据和所述多个第二样本数据对应的目标收益数值，对已根据所述多个第一样本数据训练完成的所述网络模型进行训练，所述第二样本数据对应的目标收益数值通过采用参考收益函数，对所述第二样本数据中的第二样本图像和第二目标操作进行处理得到，所述目标收益数值的大小用于表示通过所述参考收益函数确定的在第二样本图像对应的界面中执行所述第二目标操作的概率。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一样本数据对所述网络模型进行训练，包括：

对于每个第一样本数据，将所述第一样本数据中的第一样本图像输入至所述网络模型，基于所述网络模型获取所述多个参考操作对应的操作分值；

将分值最大的参考操作确定为所述第一样本图像的第一预测操作；

根据所述第一预测操作与所述第一样本数据中的第一目标操作之间的误差，对所述网络模型的模型参数进行调整，以使调整后的所述网络模型根据所述第一样本图像确定的预测操作与所述第一目标操作之间的误差减小。

3.根据权利要求1所述的方法，其特征在于，所述根据所述多个第二样本数据和所述多个第二样本数据对应的目标收益数值，对已根据所述多个第一样本数据训练完成的所述网络模型进行训练，包括：

对于每个第二样本数据，将所述第二样本数据中的第二样本图像输入至已根据所述多个第一样本数据训练完成的所述网络模型，基于所述网络模型获取所述多个参考操作对应的操作分值；

根据所述多个参考操作对应的操作分值，从所述多个参考操作中选取多个备选操作，所述多个备选操作对应的操作分值大于所述多个参考操作中其他操作对应的操作分值；

采用所述参考收益函数，分别对所述第二样本图像和每个备选操作进行处理，得到所述每个备选操作对应的收益数值，将所述多个备选操作对应的收益数值中的最大收益数值确定为预测收益数值；

采用所述参考收益函数，对所述第二样本数据中的所述第二样本图像和所述第二目标操作进行处理，得到所述目标收益数值；

根据所述预测收益数值与所述目标收益数值之间的误差，对所述网络模型的模型参数进行调整，以使调整后的所述网络模型根据所述第二样本图像确定的所述预测收益数值与所述目标收益数值之间的误差减小。

4.根据权利要求1所述的方法，其特征在于，所述第一样本图像为所述终端显示的界面中的缩略地图区域的图像。

5.根据权利要求1所述的方法，其特征在于，所述获取多个第一样本数据，包括：

通过录制所述终端的运行过程，获取多个第一样本图像和每个第一样本图像的第一目标操作；

统计获取到的多个第一目标操作对应的样本图像数量；

当任一第一目标操作对应的样本图像数量小于参考数量时，继续获取与所述任一第一目标操作对应的第一样本图像，以使所述任一第一目标操作对应的样本图像数量不小于所述参考数量；或者，

获取参考比例与获取到的多个样本图像的总数量的乘积，得到指定数量，当任一第一目标操作对应的样本图像数量小于所述指定数量时，继续获取与所述任一第一目标操作对应的第一样本图像，以使所述任一第一目标操作对应的样本图像数量不小于所述指定数量。