[发明专利]一种基于多源数据和主题模型的技术清单生成方法和系统

说明书

本发明公开了一种基于多源数据和主题模型的技术清单生成方法，包括：获取与某个技术领域对应的多个科技文献，对该科技文献进行数据处理，并将处理后的多个科技文献存储在科技文献数据库中，将科技文献数据库中的所有科技文献输入训练好的支持向量机模型SVM中进行技术类别划分，并将技术类别划分结果存储在科技文献数据库中，将科技文献数据库中属于同一技术类别的科技文献合并为一个文档，所有文档形成文档库，对文档库先后进行停用词去除和低频词去除处理，以得到更新后的文档库，使用主题建模算法LDA对更新后的文档库进行主题聚类，以得到所有主题对应的单词分布矩阵。本发明能解决基于专家研判的方法存在的主观性强、成本较大的技术问题。

技术领域

本发明属于数据挖掘领域，更具体地，涉及一种基于多源数据和主题模型的技术清单生成方法和系统。

背景技术

技术预见是对科学、技术、经济和社会的远期未来进行系统探索的过程，其目的是选定可能产生最大经济、环境与社会效益的通用新技术和战略研究领域，形成关键技术清单。技术预见对于促进技术推广应用、加速技术产业化以及技术转移具有重要意义，美国、日本、德国等发达国家对技术预见进行了广泛研究和应用。

现有的技术清单生成方法包括专家研判的方法和文献计量的方法；基于专家研判的方法是以领域专家为核心，通常由权威机构组织相关领域的专家，通过多轮研讨，汇集领域专家的知识和智慧，形成最终的技术清单，包括同行评议、德尔菲法、情景分析法等；基于文献计量的方法通常以论文、专利等科技文献为研究对象，通过分析科技文献中的客观信息来探索技术的隐藏模式，以推断技术的未来发展趋势，形成技术清单，主要包括引文分析法和主题词分析法。

然而，上述两种技术清单生成方法均存在一些不可忽略的技术缺陷：第一、基于专家研判的方法其有效性完全取决于专家在相关领域知识的广度与深度，带有强烈的主观意见，该方法虽然对于特定技术领域有较高的准确度，但识别成本较大。第二、基于文献计量的方法对于识别某一技术领域的整体发展情况较为擅长，并且由于以客观文献数据为驱动，一定程度上帮助解决了主观偏误性问题，但该方法往往基于简单的统计分析，挖掘的深度不够，难以形成完整、具体的技术描述，技术清单生成的准确性难以保证。第三、基于文献计量的方法多基于单维数据，存在技术清单覆盖程度较低的不足。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多源数据和主题模型的技术清单生成方法和系统，其目的在于，通过一级技术识别和二级技术识别快速、有效地完成领域内技术清单的生成，从而解决基于专家研判的方法存在的主观性强、成本较大的技术问题，以及基于文献计量的方法存在的准确性难以保证的技术问题，以及基于单维文献数据存在的技术清单覆盖程度较低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于多源数据和主题模型的技术清单生成方法，包括以下步骤：

(1)获取与某个技术领域对应的多个科技文献，对该科技文献进行数据处理，并将处理后的多个科技文献存储在科技文献数据库中。

(2)将步骤(1)中得到的科技文献数据库中的所有科技文献输入训练好的支持向量机模型SVM中进行技术类别划分，并将技术类别划分结果存储在科技文献数据库中。

(3)将经过步骤(2)处理后的科技文献数据库中属于同一技术类别的科技文献合并为一个文档，所有文档形成文档库；

(4)对步骤(3)中获得的文档库先后进行停用词去除和低频词去除处理，以得到更新后的文档库。

(5)使用主题建模算法LDA对步骤(4)中更新后的文档库进行主题聚类，以得到该文档库中所有主题对应的单词分布矩阵，并根据单词分布矩阵生成一级技术清单。

(6)为步骤(5)中得到的一级技术清单中的每个主题构建词共现网络，使用Louvain算法对该主题对应的词共现网络进行聚类，以得到该主题对应的多个聚类簇团，对该主题对应的所有聚类簇团中的主题词内容进行分析，以得到该主题对应的二级技术清单。