[发明专利]一种虚拟现实与增强现实场景下结合句法的语义解析系统

权利要求书

1.一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于，包括：

数据处理模块，用于将数据集进行预处理，划分为训练集和测试集，且每条数据由自然语言语句及其目标逻辑形式组成对；

句法分析模块，利用句法分析工具，将所有数据的自然语言语句进行句法分析，得到其句法树；

神经网络模块，采用Tree2Tree模型，包括编码器端和解码器端，编码器端包括序列编码器和结合句法的树编码器，解码器端是一个树形的层次解码器，采用注意力机制，在解码时聚焦于源语句中的有效部分；

训练及测试模块，用上述的数据处理模块和句法分析模块得到的数据对神经网络进行训练，数据包括自然语言语句及逻辑形式，以及句法树，通过批处理的梯度下降法以及反向传播方法使模型收敛；用测试集数据对熟练后的模型进行测试，得到测试准确率；

预测模块，将训练好的神经网络模块与句法分析工具进行组合，封装成一个系统，输入一条自然语言语句后，输出其逻辑形式，该逻辑形式用于机器人的交互控制、智能问答。

2.根据权利要求1所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：

句法分析模块，对于预处理并划分过后的数据集，首先对其进行句法分析处理，得到每一个句子的句法分析树，并且将句法分析树按照乔姆斯基原理(Chomsky Theory)进行二叉化处理，得到二叉句法树(binary parsing tree)。

3.根据权利要求1所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：

所述神经网络模块采用Tree2Tree模型，分为序列编码器(Seq-Encoder)、树编码器(Tree-Encoder)、树解码器(Tree-Decoder)和注意力机制(Attention Mechanism)四个子结构。

4.根据权利要求3所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：

所述序列编码器是一个两层的双向LSTM模型，每个时间步都从LSTM单元保存h和c向量；h向量用于解码器中上下文全局注意力机制的计算，并且最后一层的所有h和c向量也用作树编码器的输入。

5.根据权利要求3所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：

所述树编码器中采用的是Tree-LSTM单元，根据句法分析树的结构自底向上的进行编码；句法分析树被二值化，将其视为N＝2时N-ary Tree-LSTM的特例，在叶子节点处输入向量，根据解析树的结构，树编码器通过Tree-LSTM单元自底向上对其进行编码；将序列编码器部分输出的每个单词相对应的隐向量用作叶节点的输入。

6.根据权利要求3所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：

在树编码器和序列编码器对输入语句进行编码后，两个编码器分别获得了h和c向量；将两个编码器的h和c向量连接在一起，然后将新的h和新的c项链作为编码器端的输出，也作为解码器端的输入；将两个编码器的h和c向量拼接在一起，两个h向量为h_tree和h_seq，c向量也由树编码器和序列编码器分别计算得到；拼接后得到新的h向量h_concat和新的c向量作为编码器端的输出，也作为解码器端的输入。

7.根据权利要求3所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：

所述的树解码器，根据编码器侧获得的连接向量执行分层解码；将逻辑形式视为树结构，其中树的每一层都被视为解码序列，自顶向下的递归解码，从而得到整个逻辑形式，所述的树解码器使用了三层LSTM单元；所述三层LSTM单元指的是，每次解码时，都对上一次解码得到的h向量进行三次的LSTM单元计算，经过三层的计算后，解码得到当前的元素。

8.根据权利要求1所述的一种虚拟现实与增强现实场景下结合句法的语义解析系统，其特征在于：

所述的注意力机制是一种有针对性的关注机制，当解码器解码每个符号时，都从编码器部分获得的隐向量中有选择地从中选择一个子集，即对当前任务目标更关键的信息。