[发明专利]一种基于语境翻译的机器人模仿学习方法

说明书

技术领域

本发明涉及模仿学习领域，尤其是涉及了一种基于语境翻译的机器人模仿学习方法。

背景技术

随着科学技术的发展，机器人学已经成为人工智能领域研究的热点问题之一，它体现了目前研究的机器控制水平。在机器人控制中，机器人的模仿学习是自动系统获取控制策略的有效方法。模仿学习是使机器通过观察人类工具使用的视频来学习涉及工具使用的机器人技能。通过学习，机器人可以进一步学习各种技能，如完成扫地、拖地、洗碗、叠衣服等家务工作，又如完成传送和取回物品、开门关门等能够在未来减少人类工作量，给人们带来便利，提高人们幸福感的工作。然而，现有的模拟学习方法不能实现在高维度的观察和学习，而且不能处理语境改变的情况。

本发明提出了一种基于语境翻译的机器人模仿学习方法，先从一个未知的语境中学习新的演示，再在这些演示中学习一个语境翻译模型，模型从目标环境中观察单个结果，并且通过从源语境翻译演示来预测在该语境中将来的观察，接着用于特征追踪的奖励功能惩罚已翻译特征的偏差，从而产生观察结果，最后加强学习算法的特征追踪，在学习环境中学习控制策略，可以用于加强学习算法，计算图像特征。本发明通过学习语境翻译模型，实现在高维度的观察和学习，也能处理语境改变的情况；此外，实现有效地语境翻译和学习，还能够应用于机器人的模仿学习中。

发明内容

针对不能处理语境改变的问题，本发明的目的在于提供一种基于语境翻译的机器人模仿学习方法，先从一个未知的语境中学习新的演示，再在这些演示中学习一个语境翻译模型，模型从目标环境中观察单个结果，并且通过从源语境翻译演示来预测在该语境中将来的观察，接着用于特征追踪的奖励功能惩罚已翻译特征的偏差，从而产生观察结果，最后加强学习算法的特征追踪，在学习环境中学习控制策略，可以用于加强学习算法，计算图像特征。

为解决上述问题，本发明提供一种基于语境翻译的机器人模仿学习方法，其主要内容包括：

(一)学习语境翻译；

(二)用于特征追踪的奖励功能；

(三)加强学习算法的特征追踪。

其中，所述的模拟观察算法，它是基于学习可以将演示从一个语境(例如，第三人视点和人类演示者)转换到另一语境(例如，第一人视点和机器人)的语境翻译模型；通过训练一个模型来执行这种转换，从而获得一个适合追踪演示行为的特征。

其中，所述的学习语境翻译，由于每个演示D_k都是从一个未知的语境ω_k生成的，所以学习者不能在自己的语境ω_l中直接跟踪这些演示；然而，由于有来自多个未知但不同背景的演示，所以可以在这些演示中学习一个语境翻译模型；只假设在特定语境ω_k中演示的第一帧可以用于隐含地提取关于语境ω_k的信息。

进一步地，所述的翻译模型，翻译模型是通过对演示和进行训练的，其中，D_i来自未知语境ω_i(源语境)，D_j来自未知语境ω_j(目标语境)；该模型必须学习输出D_j条件下的观测值D_i和目标语境ω_j中的第一个观测值因此，模型从目标环境中观察单个结果，并且通过从源语境翻译演示来预测在该语境中将来的观察；一旦被训练，这个模型可以提供任何演示D_k，将其转化为学习者的语境ω_l进行跟踪。

进一步地，所述的翻译，通过学习整体翻译函数使得其输出对于所有t和每对训练演示D_i和D_j都紧密匹配也就是说，该模型将来自D_i的观察结果转化为语境ω_j，仅限于D_j中的第一个观察

进一步地，所述的模型的组件，该模型由四个组件组成：组件一为源观测编码器表示为z₁；组件二为将观测值编码为源和目标特征的目标初始观测编码器表示为z₂；组件三为转换器z₃＝T(z₁,z₂)，其将特征z₁转换为z₂的语境的特征，表示为z₃；组件四为将目标语境解码的解码器Dec(z₃)，解码为