[发明专利]模型训练方法、装置、设备、存储介质和程序产品

权利要求书

1.一种模型训练方法，包括：

获取用户在人机交互过程中输入的对话信息；

基于所述对话信息，并利用第一意图识别模型、第一循环神经网络和第一命名实体识别模型，获得对应的预测信息，其中，所述预测信息包括：用户意图信息、对话状态信息和实体信息；

基于所述预测信息，并利用第一行为决策模型，获得对应的机器行为信息，以便机器在人机交互过程中基于所述机器行为信息做出的对应的机器行为；

获取用户针对所述机器行为输入的反馈信息；

将所述预测信息、所述机器行为信息和所述反馈信息中的至少之一作为训练数据存入数据库；以及

响应于所述数据库中的训练数据达到预设数据量，基于所述数据库中的训练数据，并利用强化学习算法在线进行模型优化训练。

2.根据权利要求1所述的方法，其中，基于所述数据库中的训练数据，并利用强化学习算法在线进行模型优化训练，包括：

从所述数据库中随机选取训练数据；以及

基于随机选取的训练数据，并利用强化学习算法在线进行模型优化训练。

3.根据权利要求1所述的方法，其中，基于所述数据库中的训练数据，并利用强化学习算法在线进行模型优化训练，包括：

基于所述数据库中的训练数据，并利用强化学习算法在线对以下模型中的至少之一进行模型优化训练：所述第一意图识别模型，所述第一循环神经网络，所述第一命名实体识别模型，所述第一行为决策模型。

4.根据权利要求3所述的方法，还包括以下至少之一：

在对所述第一意图识别模型进行优化训练的情况下，对所述第一意图识别模型的全连接层进行优化训练；

在对所述第一行为决策模型进行优化训练的情况下，对所述第一行为决策模型的全连接层进行优化训练。

5.根据权利要求1所述的方法，其中，基于所述对话信息，并利用第一意图识别模型、第一循环神经网络和第一命名实体识别模型，获得对应的预测信息，包括以下至少之一：

基于所述对话信息，并利用所述第一意图识别模型，获得用户意图的概率分布；

基于所述对话信息，并利用所述第一循环神经网络，获得对话状态的概率分布；以及

基于所述对话信息，并利用所述第一命名实体识别模型，获得对应的实体向量。

6.根据权利要求1所述的方法，其中，基于所述预测信息，并利用第一行为决策模型，获得对应的机器行为信息，包括：

基于所述预测信息，并利用所述第一行为决策模型，获得对应的机器行为的概率分布。

7.一种模型训练装置，包括：

第一获取模块，用于获取用户在人机交互过程中输入的对话信息；

第一预测模块，用于基于所述对话信息，并利用第一意图识别模型、第一循环神经网络和第一命名实体识别模型，获得对应的预测信息，其中，所述预测信息包括：用户意图信息、对话状态信息和实体信息；

第二预测模块，用于基于所述预测信息，并利用第一行为决策模型，获得对应的机器行为信息，以便机器在人机交互过程中基于所述机器行为信息做出的对应的机器行为；

第二获取模块，用于获取用户针对所述机器行为输入的反馈信息；

存储模块，用于将所述预测信息、所述机器行为信息和所述反馈信息中的至少之一作为训练数据存入数据库；以及

优化训练模块，用于响应于所述数据库中的训练数据达到预设数据量，基于所述数据库中的训练数据，并利用强化学习算法在线进行模型优化训练。

8.根据权利要求7所述的装置，其中，所述优化训练模块包括：

选取单元，用于从所述数据库中随机选取训练数据；以及

第一优化训练单元，用于基于随机选取的训练数据，并利用强化学习算法在线进行模型优化训练。