[发明专利]一种基于深度学习的动作模型及其训练方法

权利要求书

1.一种基于深度学习的动作模型，其特征在于，包括数据补全模块、数据编解码模块、状态推理模块和搜索规划模块；

数据补全模块用于预测原始数据P中缺失的部分，并补充到原始数据中，生成完整可观测的数据O；数据补全模块包括生成器和判别器，生成器正向运算公式如下：

P_z＝M⊙P+(1-M)⊙Z

H_G1＝ReLU(W_G1*[P_z；M]+b_G1)

H_G2＝ReLU(W_G2*H_G1+b_G2)

H_o＝σ(W_Go*H_G2+b_Go)

O＝M⊙P+(1-M)⊙H_Go

判别器正向运算公式如下：

H_D1＝ReLU(W_D1*[O，T]+b_D1)

H_D2＝ReLU(W_D2*H_D1+b_D2)

其中，Z为d维噪声向量；[；]为维度相同的两个变量的拼接操作，*为矩阵相乘，ReLU(·)为线性整流函数，σ(·)为sigmoid函数；

W_G1，b_G1，W_G2，b_G2，W_Go，b_Go为网络超参数；

W_D1，b_D1，W_D2，b_D2，W_Do，b_Do为网络超参数

数据编解码模块，用于实现原始形式的数据O和隐含空间中的命题形式的数据S的双向转换；所述数据编解码模块包含两个子模块：编码模块和解码模块；编码模块用于将原始形式的数据O编码为隐含空间中的命题S；解码模块用于将隐含空间的命题S解码，得到原始形式的数据O；所述数据编解码模块的训练数据集的样本为观测向量P，将原始观测样本经过补全自后，得到原始观测数据O；所述数据编码模块包括编码器模块和解码模块，公式分别为：

S＝SEn(O)

其中，S的维度大小为m*2，表示m个2维one-hot向量，其现实含义为m个值为真或假的命题，m是一个人工设置的网络超参数；SEn为可训练的神经网络；为d维向量；SDe为可训练的神经网络；

状态推理模块，用于在隐含空间中的命题上进行推理，使得在给定当前时刻状态的命题S的条件下，得到下一个时刻的所有可能状态的命题S′；

原始数据中的问题进行求解，对每个问题，给定初始状态的观测图片P₀和缺失部分的位置指示变量M₀，以及目标状态的观测图片P_g和缺失部分的位置指示变量M_g，规划阶段的具体步骤如下：

步骤1，将初始状态的观测图片P₀和缺失部分的位置指示变量M₀，以及目标状态的观测图片P_g和缺失部分的位置指示变量M_g，分别输入到数据补全模块的生成器G中，得到补全后的初始状态观测图片O₀，以及补全后的目标状态的观测图片O_g。

步骤2：给定观测图片O₀与O_g，使用数据编解码模块的编码子模块，将O₀与O_g分别编码成隐空间下的命题形式状态向量S₀与S_g。

步骤3：以S₀为起点，利用状态推理模块和搜索规划模块进行前向搜索，直到下一时刻的状态中包含S_g，并记录下搜索路径R。

状态推理模块和搜索规划模块进行前向搜索的过程为：首先给定初始状态S0，目标状态Sg。然后，定义启发函数F(S)的计算规则：G(S)为当前实际成本，是指从初始状态S0到当前状态S的步数；H(S)为启发成本，是指当前状态S与目标状态Sg的曼哈顿距离。然后，进行以下搜索求解步骤：

步骤i.初始化“开启”列表、“关闭”列表为空列表，计算状态S0的成本F(S0)＝G(S0)+H(S0)，并把初始状态S0放入“开启”列表。

步骤ii.从“开启列表”中选择F最小的状态S，将其移出“开启”列表并添加到“关闭”列表。

步骤iii.判断S是否等于Sg，若是，跳转到步骤vi；否则跳转到iv。

步骤iv.枚举所有的动作A，通过状态推理模块的编码器AFn得到该状态下一时刻的所有可能状态{Sn}，将{Sn}中不在“关闭”列表内的状态去除，将这些状态的父节点设置为当前状态S。

步骤v.计算{Sn}中各个状态的成本F(Sn)＝G(Sn)+H(Sn)，跳转到步骤ii。

步骤vi.通过搜索过程中记录的每个状态的父节点，回溯获取从初始状态S0到当前状态S的路径，即解序列{Si}。输出{Si}，求解结束。

步骤4：使用数据编解码模块的解码子模块，将搜索路径R的所有命题形式的状态向量{S₀，S₁，…，S_g}解码，得到图片形式的解序列{O₀，O₁，…，O_g}，即规划问题的解。