[发明专利]一种基于语境翻译的机器人模仿学习方法

权利要求书

1.一种基于语境翻译的机器人模仿学习方法，其特征在于，主要包括学习语境翻译(一)；用于特征追踪的奖励功能(二)；加强学习算法的特征追踪(三)。

2.基于权利要求书1所述的模拟观察算法，其特征在于，它是基于学习可以将演示从一个语境(例如，第三人视点和人类演示者)转换到另一语境(例如，第一人视点和机器人)的语境翻译模型；通过训练一个模型来执行这种转换，从而获得一个适合追踪演示行为的特征。

3.基于权利要求书1所述的学习语境翻译(一)，其特征在于，由于每个演示D_k都是从一个未知的语境ω_k生成的，所以学习者不能在自己的语境ω_l中直接跟踪这些演示；然而，由于有来自多个未知但不同背景的演示，所以可以在这些演示中学习一个语境翻译模型；只假设在特定语境ω_k中演示的第一帧可以用于隐含地提取关于语境ω_k的信息。

4.基于权利要求书3所述的翻译模型，其特征在于，翻译模型是通过对演示和进行训练的，其中，D_j来自未知语境ω_i(源语境)，D_j来自未知语境ω_j(目标语境)；该模型必须学习输出D_j条件下的观测值D_i和目标语境ω_j中的第一个观测值因此，模型从目标环境中观察单个结果，并且通过从源语境翻译演示来预测在该语境中将来的观察；一旦被训练，这个模型可以提供任何演示D_k，将其转化为学习者的语境ω_l进行跟踪。

5.基于权利要求书4所述的翻译，其特征在于，通过学习整体翻译函数使得其输出对于所有t和每对训练演示D_i和D_j都紧密匹配也就是说，该模型将来自D_i的观察结果转化为语境ω_j，仅限于D_j中的第一个观察

6.基于权利要求书3所述的模型的组件，其特征在于，该模型由四个组件组成：组件一为源观测编码器表示为z₁；组件二为将观测值编码为源和目标特征的目标初始观测编码器表示为z₂；组件三为转换器z₃＝T(z₁,z₂)，其将特征z₁转换为z₂的语境的特征，表示为z₃；组件四为将目标语境解码的解码器Dec(z₃)，解码为

使用来表示从输入观察和语境图像生成特征z₃的特征提取器；编码器Enc₁和Enc₂可以具有不同的权重或束缚，这取决于演示场景的多样性；该模型在输出端和端对端之间进行了一个平方误差损失的监督。

7.基于权利要求书6所述的编码器和解码器，其特征在于，为了确保翻译的特征z₃形成与编码图像z₁内部一致的表示，共同训练翻译模型编码器Enc₁和解码器Dec作为自动编码器，具有重建损耗并且同时使特征表示此自动编码器，以将其与特征z₃对齐，使用损失这使编码器Enc₁和解码器Dec采用一致的特征表示，使得目标语境观察被编码成与被翻译的特征z₃相似的特征；整个模型的训练目标由组合损失函数给出，其中，D_i和D_j是从训练集中随机选择的一对演示，而λ₁和λ₂是超参数。