[发明专利]一种基于多源数据和主题模型的技术清单生成方法和系统

权利要求书

1.一种基于多源数据和主题模型的技术清单生成方法，其特征在于，包括以下步骤：

(1)获取与某个技术领域对应的多个科技文献，对该科技文献进行数据处理，并将处理后的多个科技文献存储在科技文献数据库中。

(2)将步骤(1)中得到的科技文献数据库中的所有科技文献输入训练好的支持向量机模型SVM中进行技术类别划分，并将技术类别划分结果存储在科技文献数据库中。

(3)将经过步骤(2)处理后的科技文献数据库中属于同一技术类别的科技文献合并为一个文档，所有文档形成文档库；

(4)对步骤(3)中获得的文档库先后进行停用词去除和低频词去除处理，以得到更新后的文档库。

(5)使用主题建模算法LDA对步骤(4)中更新后的文档库进行主题聚类，以得到该文档库中所有主题对应的单词分布矩阵，并根据单词分布矩阵生成一级技术清单。

(6)为步骤(5)中得到的一级技术清单中的每个主题构建词共现网络，使用Louvain算法对该主题对应的词共现网络进行聚类，以得到该主题对应的多个聚类簇团，对该主题对应的所有聚类簇团中的主题词内容进行分析，以得到该主题对应的二级技术清单。

(7)将步骤(5)中获得的一级技术清单与步骤(6)中获得的二级技术清单进行关联，以生成完整的技术清单。

2.根据权利要求1所述的基于多源数据和主题模型的技术清单生成方法，其特征在于，步骤(1)包括以下子步骤：

(1-1)制定某个技术领域相关的论文检索式和专利检索式，分别在科学引文数据库WOS和德温特专利数据库DII进行检索，以得到该技术领域对应的科技文献；

(1-2)针对步骤(1-1)获取的该技术领域对应的每个科技文献而言，对该技术文献分别进行标题提取和摘要提取，使用自然语言处理工具包NLTK对获得的每个科技文献的标题和摘要先后进行小写转换和词形还原处理，并将处理后得到的科技文献存储在科技文献数据库中。

3.根据权利要求1或2所述的基于多源数据和主题模型的技术清单生成方法，其特征在于，SVM模型是通过以下方式训练得到的：

(2-1)针对经过步骤(1)处理后的某个技术领域对应的每个科技文献而言，获取该技术文献的标题和摘要，并将获取到的标题和摘要进行合并，以得到该科技文献的描述文本；

(2-2)使用步骤(2-1)中获得的科技文献数据库中每个科技文献对应的描述文本输入Doc2vec模型，以得到该科技文献对应的文本向量；

(2-3)建立技术类别库，该技术类别库中包括多个技术类别以及每个技术类别所对应的多篇技术文献；

(2-4)使用步骤(2-2)中得到的科技文献数据库中科技文献对应的文本向量、步骤(2-3)中获得的技术类别库构建数据集，将该数据集按照8：2的比例划分为训练集和测试集；

(2-5)将步骤(2-4)中得到的训练集输入SVM模型中，以得到更新后的SVM模型。

4.根据权利要求1至3中任意一项所述的基于多源数据和主题模型的技术清单生成方法，其特征在于，

Doc2vec模型的权重参数包括文本向量和单词向量，在进行训练时，它将文本向量与上下文单词向量连接在一起，共同进行下一个单词预测，并通过最小化单词预测的损失来更新模型权重参数；

Doc2vec模型在训练过程中，设置Doc2vec模型的词向量维度为200，训练轮数为100，采样窗口宽度为8；

Doc2vec模型最终得到的结果，是科技文献与文本向量之间的映射关系。

5.根据权利要求1至3中任意一项所述的基于多源数据和主题模型的技术清单生成方法，其特征在于，步骤(2-5)具体为，迭代地设置SVM模型超参数，使用步骤(2-4)得到的数据集中的测试集对迭代训练后的SVM模型进行迭代验证，直到得到的分类精度达到最优为止，从而得到训练好的SVM模型。

6.根据权利要求1所述的基于多源数据和主题模型的技术清单生成方法，其特征在于，

步骤(4)中的停用词去除是将文档库中存在的停用词，其具体可以查阅NLTK中提供的停用词表；

低频词是指文档中出现次数小于10次的词。