[发明专利]一种融合词性与位置信息的词向量训练方法及系统

说明书

本发明公开了一种融合词性与位置信息的词向量训练方法及系统，该方法包括：对数据进行预处理得到目标文本；对目标文本进行分词和词性标注；对词性信息建模和对位置信息建模；在基于负采样策略的skip‑gram模型的基础上融合词性与位置信息进行词向量学习得到目标词向量，该目标词向量用于单词类比任务和单词相似度任务评估。本发明考虑了单词的词性信息及位置信息，且在对单词的词性和位置信息进行建模的基础上，充分利用单词的词性信息以及词性之间的位置信息来帮助词向量的训练，并且在训练的过程中对于参数的更新也更加合理。

技术领域

本发明属于自然语言处理技术领域，更具体地，涉及一种融合词性与位置信息的词向量训练方法及系统。

背景技术

近年来，随着移动互联网技术的飞速发展，使得互联网中数据的规模急速增长，也使得数据的复杂度急剧增高。这就使得对这些海量的无结构、未标注数据的处理分析成为一大难题。

传统的机器学习方法采用特征工程(Feature engineering)对数据进行符号化表示以便于模型的建模与求解，但特征工程中常用的词袋表示技术如One-hot向量随着数据复杂度的增长，特征的维度也会急剧增加从而导致维度灾难问题。并且基于One-hot向量表示的方法还存在语义鸿沟现象。随着“如果两个词上下文相似，那么它们的语义也相似”的分布假说(distributional hypothesis)被提出，基于分布假说的单词分布表示技术不断地被提出。其中最主要的有基于矩阵的分布表示、基于聚类的分布表示及基于词向量的分布表示。但无论是基于矩阵表示还是基于聚类表示的分布表示方法虽然能够在特征维度较小时表达简单的上下文信息。但当特征维度较高时，模型对于上下文的表达尤其是对复杂上下文的表达就无能为力。而基于词向量的表示技术，使得无论是对于每个单词的表示，还是通过线性组合的方法来表示单词的上下文都避免了出现维度灾难的问题。而且由于单词之间的距离可以通过他们所对应词向量之间的余弦距离或欧式距离来衡量，这也在很大程度上消除了传统的词袋模型中的语义鸿沟的问题。

然而，目前已有的词向量研究工作大都集中在通过简化模型中神经网络的结构来减少模型复杂度，有的工作融合了情感、主题等信息，而融合词性信息的研究工作很少且在这些很少的工作中针对的词性粒度比较大，对于词性信息的利用很不充分，对于词性信息的更新也不太合理。

发明内容

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种融合词性与位置信息的词向量训练方法及系统，由此解决现有技术中融合词性信息的研究工作中针对的词性粒度比较大，对于词性信息的利用很不充分，对于词性信息的更新也不太合理的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种融合词性与位置信息的词向量训练方法，包括如下步骤：

S1、对原始文本进行预处理得到目标文本；

S2、根据单词的上下文信息，采用词性标注集中的词性对目标文本中的单词进行词性标注；

S3、根据标注的词性信息进行建模构建词性关联权重矩阵M，以及针对词性对所对应单词对的相对位置i进行建模，构建与位置对应的位置词性关联权重矩阵M_i'，其中，矩阵M的行列维度为词性标注集中词性的种类大小，矩阵M中的元素为该元素的行对应单词的词性与该元素的列对应单词的词性的共现概率，矩阵M_i'的行列维度与矩阵M相同，矩阵M_i'中的元素为该元素的行对应单词的词性与该元素的列对应单词的词性在相对位置i时的共现概率；

S4、将建模后的矩阵M和矩阵M_i'融合到skip-gram词向量模型中构建目标模型，由目标模型进行词向量学习得到目标词向量，其中，目标词向量用于单词类比任务以及单词相似度任务。

优选地，步骤S2具体包括以下子步骤：

S2.1、对目标文本进行分词，以区分出目标文本中的所有单词；