[发明专利]一种机器人人机交互方法

权利要求书

1.一种机器人人机交互方法，其特征在于该方法包括：

拍摄环境的RGB图像与深度图，利用激光雷达探测障碍物信息，获取障碍物数组，对获取数据进行归一化处理，构建人机交互中的问题编码网络将问题进行编码；构建图像特征提取网络，将RGB图像与深度图像信息提取成为一个特征矩阵，将激光雷达数据、问题编码和特征矩阵进行拼接得到特征融合矩阵；采用卷积网络获取数据融合矩阵作为周边环境的数据融合矩阵；训练一个循环神经网络作为导航器，将数据融合矩阵作为输入，输出为“前，左，右，停止”动作之一，控制机器人运动方向；具体步骤如下：

(1)拍摄环境的RGB图像与深度图，称为环境图像，环境图像为一个3*(w*h)图像，环境图像中含有3个图层，每一个图层的尺寸为(w*h)，利用下式，对环境图像进行归一化处理：

式中，代表归一化后环境图像中像素点的值，x_i代表原环境图像中像素点的值，x_min代表像素点的最小值，x_max代表像素点的最大值；

(2)构建一个卷积神经网络，具体包括以下步骤：

设定卷积神经网络的第一层为卷积层，该卷积层的卷积核为5*5的矩阵，通道数为8；卷积神经网络的第二层为非线性激活层，非线性激活函数为relu函数，将卷积层的输出作为该层输入，增加网络的非线性，卷积神经网络的的第三层为数据归一化层，该层的输入为非线性激活层的输出；

(3)利用上述步骤(2)的卷积神经网络，对步骤(1)的环境图像进行特征提取，得到环境特征融合矩阵L，包括以下步骤：

(3-1)将步骤(1)归一化处理后的环境图像输入到步骤(2)的卷积神经网络中，卷积神经网络输出RGB图像的特征矩阵M与深度图的特征矩阵G；

(3-2)将步骤(3-1)的特征矩阵M与特征矩阵G相加，得到融合矩阵K，将融合矩阵K进行矩阵变换，得到环境特征融合矩阵L,L为1*1*128的矩阵；

(4)探测障碍物信息，记为障碍物数组Z，利用下式，对障碍物数组Z进行归一化处理得到归一化后的矩阵Z_j：

式中，代表归一化处理后障碍物数组的值，z_j代表原障碍物数组的值，z_min代表障碍物数组的最小值，z_max代表障碍物数组的最大值；

对归一化后的矩阵Z_j进行线性变换，得到障碍物特征矩阵N，N为1*1*64的矩阵；

(5)构建一个问题编码网络，具体包括以下步骤：

(5-1)设定问题编码网络的第一层为第一长短时记忆层，第一长短时记忆层的神经元个数是128个，问题编码网络的第二层为长短时记忆层，第二层为长短时记忆层的神经元个数是128个，得到一个问题编码网络；

(5-2)将人机交互问题中的单词进行编号；

(5-3)将步骤(5-2)的进行编号后的人机交互问题中的单词输入步骤(5-1)的问题编码网络，问题编码网络输出一个问题矩阵，对问题矩阵进行变换，得到问题特征矩阵O，问题特征矩阵O为1*1*64的矩阵；

(6)对步骤(3)的环境特征融合矩阵L、步骤(4)的障碍物特征矩阵N和步骤(5)的问题特征矩阵O，按照通道数进行矩阵拼接，得到特征融合矩阵P，特征融合矩阵P为1*1*256的矩阵；

(7)设计一个卷积网络，该卷积网络的卷积核为1*1的矩阵，卷积网络的通道数为64，将步骤(6)的特征融合矩阵P输入该卷积网络，卷积网络输出一个数据融合矩阵Q；

(8)建立一个循环神经网络，该循环神经网络的第一层为长短期记忆网络，长短期记忆网络中的神经元个数为64个，该循环神经网络的第二层为线性变换层，该循环神经网络的第三层为softmax分类层，softmax分类层的神经元个数为4个；循环神经网络最终输出为“前，左，右，停止”四个动作中的一个；

(9-1)利用步骤(7)数据融合矩阵Q对步骤(8)的循环神经网络进行训练，得到一个导航器，即向步骤(8)的循环神经网络输入数据融合矩阵Q，循环神经网络输出为“前，左，右，停止”四个动作，在循环神经网络训练中，利用损失函数，计算损失值Loss：

其中i为动作序号，为第i个输出动作，将第i个输出动作与输入数据融合矩阵Q中的相应动作进行比较，若输出动作与数据融合矩阵Q中的相应动作相同，则记y_i为1，若输出动作与数据融合矩阵Q中的相应动作不相同，则记y_i为0；

(9-2)设定损失值Loss的阈值，损失值Loss的阈值为0.5，采用损失函数计算每一次训练的损失值，当损失值小于阈值时，完成导航器的训练；

(10)利用步骤(9-2)的导航器进行导航，导航器的表达式为：

a_t,h_t←LSTM(h_t-1,I_t⁰,Q,a_t-1)

其中，t表示机器人走的步数，a_t表示机器人第t步的移动方向,h_t表示第t步循环神经网络中长短期记忆网络的隐藏层输出，a_t-1表示上个步骤(9-1)的动作输出，h_t-1表示上个步骤长短期记忆网络的隐藏状态，Q表示问题的编码，I_t⁰表示第t步时步骤(7)的整个长短期记忆网络的数据融合输入，←表示导航器的输出方式；

向该导航器输入步骤(5)的问题编码、步骤(1)的RGB图像和深度图像以及步骤(8)的上一时刻长短期记忆层的隐藏状态，导航器输出前、左、右或停止导航四个指令中的一个，实现机器人的人机交互。