[发明专利]基于word2vec的远监督非分类关系提取方法及系统

权利要求书

1.一种基于word2vec的远监督非分类关系提取方法，其特征在于，包括：

S1、爬取网络百科和大型蔬菜网站的网络蔬菜领域非结构化文本数据作为语料，对所述语料依次进行预处理、数据对齐，得到初步的训练语料；

S2、利用所述初步的训练语料训练word2vec模型，并利用所述word2vec模型将上述初步的训练语料中的句子中的词转化成空间向量，对于每个句子，将该句子中的词的空间向量相加并做平均处理得到该句子的空间向量；

S3、将所述初步的训练语料按照非分类关系类型进行聚合，对于聚合得到的每个关系的聚合数据，抽取常见句子模式和不常见的句子模式；

S4、将k设为2，以启发式方式选择两个分别满足两种不同模式的句子空间向量作为k-means聚类方法的初始中心，并对所有句子空间向量进行聚类，选择满足常见句子模式的一类，得到质量较好的训练语料；

S5、由所述质量较好的训练语料训练卷积神经网络模型，通过组成所述卷积神经网络模型的一个卷积层、一个池化层和一个全连接softmax层，从所述句子的空间向量提取非分类关系。

2.根据权利要求1所述的基于word2vec的远监督非分类关系提取方法，其特征在于，所述S1，包括：

S10、利用编写的语料采集脚本程序从网络蔬菜百科和大型蔬菜网站上抓取非结构化文本数据作为语料，并对所述语料做低频词过滤、分词、词性标注等预处理；

S11、将步骤S10得到的语料与预设的知识库中的关系实例进行对齐，得到初步的训练语料。

3.根据权利要求2所述的基于word2vec的远监督非分类关系提取方法，其特征在于，所述S3，包括：

S30、对所述初步得到的训练语料按照句子所含有的非分类关系类型进行聚合，对于每个关系的聚合数据，使用DL-CoTrain算法寻找句子模式，抽取其中一个常见的句子模式和一个不常见的句子模式。

4.根据权利要求3所述的基于word2vec的远监督非分类关系提取方法，其特征在于，所述S5，包括：

S50、将所述质量较好的训练语料训练卷积神经网络模型，将所述句子的空间向量输入所述卷积神经网络，依次由所述卷积神经网络的卷积层自动提取文本特征，池化层做下采样，全连接层输出非分类关系的预测概率，其中，所述卷积神经网络模型包括一个卷积层，一个池化层和一个全连接softmax层。

5.一种基于word2vec的远监督非分类关系提取系统，其特征在于，包括：

获取单元，用于爬取网络百科和大型蔬菜网站的网络蔬菜领域非结构化文本数据作为语料，对所述语料依次进行预处理、数据对齐，得到初步的训练语料；

训练单元，用于利用所述初步的训练语料训练word2vec模型，并利用所述word2vec模型将上述初步的训练语料中的句子中的词转化成空间向量，对于每个句子，将该句子中的词的空间向量相加并做平均处理得到该句子的空间向量；

聚合单元，用于将所述初步的训练语料按照非分类关系类型进行聚合，对于聚合得到的每个关系的聚合数据，抽取常见句子模式和不常见的句子模式；

聚类单元，用于将k设为2，以启发式方式选择两个分别满足两种不同模式的句子空间向量作为k-means聚类方法的初始中心，并对所有句子空间向量进行聚类，选择满足常见句子模式的一类，得到质量较好的训练语料；

提取单元，用于由所述质量较好的训练语料训练卷积神经网络模型，通过组成所述卷积神经网络模型的一个卷积层、一个池化层和一个全连接softmax层，从所述句子的空间向量提取非分类关系。

6.根据权利要求5所述的基于word2vec的远监督非分类关系提取系统，其特征在于，所述获取单元，包括：

抓取子单元，用于利用编写的语料采集脚本程序从网络蔬菜百科和大型蔬菜网站上抓取非结构化文本数据作为语料，并对所述语料做低频词过滤、分词、词性标注等预处理；

对齐子单元，用于将所述抓取子单元得到的语料与预设的知识库中的关系实例进行对齐，得到初步的训练语料。