[发明专利]一种虚拟现实与增强现实场景下结合句法的语义解析系统

说明书

本发明提出一种虚拟现实与增强现实场景下结合句法的语义解析系统，包括：数据处理模块，用于将数据集进行预处理，划分为训练集和测试集，且每条数据由自然语言语句及其目标逻辑形式组成对；句法分析模块，利用句法分析工具，将所有数据的自然语言语句进行句法分析，得到其句法树；神经网络模块，为Tree2Tree模型，包括编码器端和解码器端，采用注意力机制，在解码时更有效的聚焦于源语句中的有效部分；训练及测试模块，用上述模块得到的数据对神经网络进行训练；用测试集数据对熟练后的模型进行测试；预测模块，将训练好的神经网络模块与句法分析工具进行组合，封装成一个系统，输入一条自然语言语句后，输出其逻辑形式。

技术领域

本发明涉及机器人技术、自然语言理解技术、深度学习技术领域，尤其是一种虚拟现实与增强现实场景下句法分析与深度学习结合的自然语言人机交互系统。

背景技术

语义解析(Semantic Parsing)是指直接将自然语言语句转换成计算机可以理解或执行的逻辑形式。由于语义解析是一个序列到序列的问题，现有技术提出了将机器翻译领域的Seq2Seq模型应用到semantic parsing领域中，并且将注意力机制也运用到semantic parsing上。之后，许多研究团队基于这样的模型做出了许多改进。提出了加入用户反馈机制，利用用户的反馈信号来改善模型的输出。但是他们这些模型在编码器中都采用的是序列编码器，随着句子长度的增加，信息的遗忘会变得更严重。

发明内容

本技术的目的是将人类的自然语言命令语句直接转换成机器可以理解和执行的逻辑形式语句，从而使人类可以直接用自然语言来操控机器人，提升人机交互体验和准确性。因此，本发明提出一种虚拟现实与增强现实场景下结合句法的语义解析系统，包括：

数据处理模块，用于将数据集进行预处理，划分为训练集和测试集，且每条数据由自然语言语句及其目标逻辑形式组成对；

句法分析模块，利用句法分析工具，将所有数据的自然语言语句进行句法分析，得到其句法树；

神经网络模块，采用Tree2Tree模型，包括编码器端和解码器端，编码器端包括序列编码器和结合句法的树编码器，解码器端是一个树形的层次解码器，采用注意力机制，在解码时聚焦于源语句中的有效部分；

训练及测试模块，用上述的数据处理模块和句法分析模块得到的数据对神经网络进行训练，数据包括自然语言语句及逻辑形式，以及句法树，通过批处理的梯度下降法以及反向传播方法使模型收敛；用测试集数据对熟练后的模型进行测试，得到测试准确率；

预测模块，将训练好的神经网络模块与句法分析工具进行组合，封装成一个系统，输入一条自然语言语句后，输出其逻辑形式，该逻辑形式用于机器人的交互控制、智能问答。

进一步的，所述句法分析模块，对于预处理并划分过后的数据集，首先对其进行句法分析处理，得到每一个句子的句法分析树，并且将句法分析树按照乔姆斯基原理(Chomsky Theory)进行二叉化处理，得到二叉句法树(binary parsing tree)。

进一步的，所述所述神经网络模块采用Tree2Tree模型，分为序列编码器(Seq-Encoder)、树编码器(Tree-Encoder)、树解码器(Tree-Decoder)和注意力机制(AttentionMechanism)四个子结构。

进一步的，所述所述序列编码器是一个两层的双向LSTM模型，每个时间步都从LSTM单元保存h和c向量；h向量用于解码器中上下文全局注意力机制的计算，并且最后一层的所有h和c向量也用作树编码器的输入。

进一步的，所述所述树编码器中采用的是Tree-LSTM单元，根据句法分析树的结构自底向上的进行编码；句法分析树被二值化，将其视为N＝2时N-ary Tree-LSTM的特例，在叶子节点处输入向量，根据解析树的结构，树编码器通过Tree-LSTM单元自底向上对其进行编码；将序列编码器部分输出的每个单词相对应的隐向量用作叶节点的输入。