[发明专利]融合中文单词内部结构信息的句子表示的构建方法及系统

权利要求书

1.一种融合中文单词内部结构信息的句子表示的构建方法，其特征在于，所述构建方法包括：

对训练语料中所有的中文复述句对进行分词处理，得到多个单词语料；

对各所述单词语料进行预训练，得到预训练字向量和预训练词向量；

整合每个单词语料中的所有预训练字向量和预训练词向量，获得对应单词语料的组合词向量；

根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量，所述最终词向量表征单词内部结构信息；

将待处理句子中的各个单词语料的最终词向量进行整合，得到所述待处理句子的表示向量；

其中，所述整合每个单词语料中的所有预训练字向量和预训练词向量，具体包括：

将每个单词语料的预训练字向量和预训练词向量进行拼接，得到对应预训练字向量的拼接向量；

将所述拼接向量输入到前馈神经网络中并进行非线性变换，得到对应所述预训练字向量的掩码向量；

根据每个单词语料中所有预训练字向量与对应的掩码向量确定所述单词语料的组合词向量。

2.根据权利要求1所述的融合中文单词内部结构信息的句子表示的构建方法，其特征在于，所述对各所述单词语料进行预训练，具体包括：

对各所述单词语料按字进行拆分，得到字语料；

将单词语料和字语料拼接，得到字向量和词向量；

利用开源模型对所述字向量和词向量进行预训练，获得对应的预训练字向量和预训练词向量。

3.根据权利要求1所述的融合中文单词内部结构信息的句子表示的构建方法，其特征在于，将所述拼接向量输入到前馈神经网络中并进行非线性变换，具体包括：

根据如下公式确定掩码向量v_ij：

v_ij＝tanh(W·[c_ij；x_i])

其中，tanh()表示双曲正切函数，W是前馈神经网络的参数，c_ij是第i个单词语料x_i中第j个预训练字向量。

4.根据权利要求1所述的融合中文单词内部结构信息的句子表示的构建方法，其特征在于，所述根据每个单词语料中所有预训练字向量与对应的掩码向量确定所述单词语料的组合词向量，具体包括：

根据如下公式，将每个单词语料中所有预训练字向量与对应的掩码向量内积并求和，得到所述单词语料的组合词向量

其中，c_ij是第i个单词语料x_i中第j个预训练字向量，v_ij为预训练字向量c_ij对应的掩码向量，m表示第i个单词语料的预训练字向量的全部数量。

5.根据权利要求1所述的融合中文单词内部结构信息的句子表示的构建方法，其特征在于，所述根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量，具体包括：

根据如下公式，基于最大池化方法，对预训练词向量和组合词向量的每一个维度上取最大值作为最终词向量

其中，表示第i个单词语料在第k维度的预训练词向量，表示第i个单词语料在第k维度的组合词向量，d表示第i个单词语料全部维度，max()表示取最大值函数。

6.根据权利要求1所述的融合中文单词内部结构信息的句子表示的构建方法，其特征在于，所述将待处理句子中的各个单词语料的最终词向量进行整合得到所述待处理句子的表示向量，具体包括：

通过句子组合函数将各个最终词向量整合为待处理句子的表示向量。

7.根据权利要求6所述的融合中文单词内部结构信息的句子表示的构建方法，其特征在于，所述句子组合函数包括Average模型函数、Matrix模型函数、Dan模型函数、RNN模型函数及LSTM模型函数中至少一者。

8.根据权利要求1-7中任一项所述的融合中文单词内部结构信息的句子表示的构建方法，所述训练语料为从百度百科中爬取的中文文本语料。