[发明专利]互动式语言习得的系统和方法

摘要

本文描述了用于通过交谈环境使用一次性概念学习进行互动式语言习得的系统和方法。有监督的语言学习受到主要捕捉训练数据的统计数据的能力的限制，并且难以适应新的场景，也难以灵活地习得新知识而没有低效的再训练或灾难性遗忘。在一个或多个实施方式中，交谈互动用作语言学习和新颖知识习得两方面的自然界面。公开了用于通过互动式交谈进行基础语言学习的联合模仿和强化方法的实施方式。用这种方法训练的代理能够通过询问关于新颖对象的问题来主动获取信息，并在随后的交谈中以一次性的方式使用刚刚学到的知识。与其他方法相比，结果验证了本文公开的实施方式的有效性。

主权项

1.一种用于在包括多个时间步的阶段中基于互动的语言学习的计算机实施的方法，所述方法包括：在时间步，接收包括视觉图像的输入和包括与所述视觉图像相关的零个或更多个单词的自然语言输入；使用视觉编码器将所述视觉图像编码成视觉特征表示；使用注意力机制将所述自然语言输入编码成自然语言输入表示；至少基于所述自然语言输入和先前状态向量在第一神经网络生成状态向量；经由所述第一神经网络将所述视觉特征表示和所述自然语言输入表示作为视觉模态和句子模态对存储到存储器中；使所述状态向量通过残余结构化网络以产生控制向量，作为状态输入来调制第二神经网络的行为；以及使用至少所述控制向量，使用学习到的注意力和内容重要性，在由所述第二神经网络指示的建议的响应部分和使用从所述存储器检索的自然语言输入表示的至少一部分指示的建议的响应部分之间自适应地进行选择，其中使用所述视觉特征表示作为视觉钥匙来检索所述自然语言输入表示，从而形成对应于所述输入的响应。