[发明专利]融合中文单词内部结构信息的句子表示的构建方法及系统

说明书

本发明涉及自然语言处理技术领域，具体提出一种融合中文单词内部结构信息的句子表示的构建方法及系统，旨在解决单词内部结构信息利用率低的问题；所述构建方法包括：对训练语料中所有的中文复述句对进行分词处理，得到多个单词语料；对各所述单词语料进行预训练，得到预训练字向量和预训练词向量；整合每个单词语料中的所有预训练字向量和预训练词向量，获得对应单词语料的组合词向量；根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量，所述最终词向量表征单词内部结构信息；将待处理句子中的各个单词语料的最终词向量进行整合，得到所述待处理句子的表示向量。本发明可以提高单词内部结构信息的利用率。

技术领域

本发明涉及自然语言处理技术领域，是一种融合中文单词内部结构信息的句子表示的构建方法及系统。

背景技术

句子表示是将一个自然语言的句子映射为一个高维空间中，使得语义相似的句子在这个空间中具有较近的距离。句子表示是自然语言处理的基础任务，直接影响到整个语言处理系统的性能。因此，人们投入了大量精力去研究如何针对特定的任务设计合适的句子表示方法，以提升语言处理系统的性能。

传统的句子表示方法用大量手工设计的特征来表示句子的含义，在各种自然语言处理任务中取得了良好的效果。但由于需要大量人力和专业知识，而且往往需要根据不同的任务选择特征，导致模型泛化能力差和特征表示困难的问题。最近几年，人们发现基于神经网络的模型可以从大规模文本中自动抽取句子的语义特征，并且极大的提升了句子语义表示的效果。

然而，绝大多数句子表示的研究都是针对英文句子，在单词粒度上设计不同的神经网络结构对句子的语义进行编码。与英文不同的是，中文的单词由字构成，字中包含了丰富的语义信息，可以反映这个单词的含义。事实上，目前已经有研究人员注意到这方面的问题，并利用中文单词中的字来改进词向量的学习，但这些方法并没有充分利用中文单词的内部信息，如字与字之间的关系，而且这些方法都只局限于词向量的学习任务中，并没有在句子表示中进行探索。因此，如何充分利用单词内部结构信息去学习更好的句子表示模型是一个非常值得研究的课题。

发明内容

为了解决现有技术中的上述问题，即为了解决单词内部结构信息利用率低的问题，本发明提供了一种融合中文单词内部结构信息的句子表示的构建方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种融合中文单词内部结构信息的句子表示的构建方法，所述构建方法包括：

对训练语料中所有的中文复述句对进行分词处理，得到多个单词语料；

对各所述单词语料进行预训练，得到预训练字向量和预训练词向量；

整合每个单词语料中的所有预训练字向量和预训练词向量，获得对应单词语料的组合词向量；

根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量，所述最终词向量表征单词内部结构信息；

将待处理句子中的各个单词语料的最终词向量进行整合，得到所述待处理句子的表示向量。

可选的，所述对各所述单词语料进行预训练，具体包括：

对各所述单词语料按字进行拆分，得到字语料；

将单词语料和字语料拼接，得到字向量和词向量；

利用开源模型对所述字向量和词向量进行预训练，获得对应的预训练字向量和预训练词向量。

可选的，所述整合每个单词语料中的所有预训练字向量和预训练词向量，具体包括：

将每个单词语料的预训练字向量和预训练词向量进行拼接，得到对应预训练字向量的拼接向量；