[发明专利]基于离线模型预训练学习的DDPG算法的机器人控制方法

权利要求书

1.一种基于离线模型预训练学习的DDPG算法的机器人控制方法，其特征在于，其步骤如下：

步骤一：收集离线环境下2D假人的训练数据，对训练数据进行预处理得到训练数据集；

步骤二：构建并初始化人工神经网络的评估网络、动作网络、对象状态模型网络和价值奖励网络，并初始化各自的参数；利用步骤一得到的训练数据集离线预训练评估网络和动作网络；

离线预训练评估网络和动作网络：从预处理后的训练数据集中提取N个样本数据，离线训练对象状态模型网络和价值奖励网络，再利用这两个离线的对象状态模型网络和价值奖励网络提前模仿在线的训练过程对DDPG中的动作网络和评估网络进行预训练学习；

步骤三：利用步骤二中预训练后的评估网络初始化目标评估网络、动作网络初始化目标动作网络，初始化存储缓冲器R和当前的第一状态，智能体将状态转换数据存入存储缓冲器R作为训练在线网络的在线数据集；

步骤四：利用步骤三得到的在线数据集训练在线策略网络和在线Q网络，利用DDQN结构更新在线策略网络和在线Q网络；

步骤五：软更新：利用在线策略网络和在线Q网络更新目标评估网络和目标动作网络里的参数，利用目标评估网络和目标动作网络控制2D假人的状态。

2.根据权利要求1所述的基于离线模型预训练学习的DDPG算法的机器人控制方法，其特征在于，所述训练数据是2D假人从起点走到终点过程中，通过行进并观察行进中获得的奖励或结果来学习在环境中行为，根据环境的反馈向正方向执行动作得到的数据；训练数据在环境状态和动作范围内，随机产生状态数据、动作和其对应的价值奖励及下个状态，即离线环境下从系统历史数据表格中收集2D假人的环境样本数据或产生随机动作，得到对应的奖励值和反馈奖励数据，其数据格式为(S_i,A_i,R_i,S_i+1)，其中，S_i为环境状态值，A_i为动作，智能体会根据传入的环境状态值S_i执行动作A_i，R_i为反馈值或价值奖励值，S_i+1为下一个环境的状态值；智能体在随机环境状态S_i下，随机地选择一个行为动作A_i，执行该行动，执行动作后返回奖励R_i和新的环境状态S_i+1，然后将这一轮数据(S_i,A_i,R_i,S_i+1)存入数据库。

3.根据权利要求2所述的基于离线模型预训练学习的DDPG算法的机器人控制方法，其特征在于，所述训练数据的预处理的方法为：进行去除空值和异常值的处理，对数据的格式进行归一化转换；将零均值高斯噪声加入到动作中，将处理后的数据存储在训练数据集中。

4.根据权利要求1或2所述的基于离线模型预训练学习的DDPG算法的机器人控制方法，其特征在于，在原来DDPG的动作网络和评估网络结构上新构建了2个结构相似的全连接人工神经网络即对象状态预测网络predictNN和价值奖励网络Value NN，每层网络的人工神经元个数相近；新构建的对象状态预测网络predictNN用于预测下个时刻的状态，输入为当前状态和执行的动作，输出层为线性输出，输出为预测的下个状态，其他各层神经元使用relu作为激活函数；新构建的价值奖励网络Value NN用于计算当前状态执行动作后的反馈奖励，输入为当前状态和动作，最后一层神经网络为线性输出，输出奖励反馈价值。