[发明专利]基于混合特征的文本中语义连贯性主题与词向量并发提取方法

说明书

本发明提供一种基于混合特征的文本中语义连贯性主题与词向量并发提取方法，从而能够同时解决LDA主题模型中忽略局部上下文信息与词向量中忽略文档与词的互信息的缺陷。包括以下步骤：1)上下文依赖的主题预分配阶段；2)基于主题的词向量重构阶段；3)混合文档生成阶段；本发明基于混合特征的文本中语义连贯性主题与词向量并发提取方法能够在现有的生成式概率主题模型与词嵌入等相关技术的基础上，混合利用文本中的全局文档与词的统计信息以及局部的上下文词序与依赖信息，在提取出语义连贯的主题词分布的同时，为不同文档中的词生成不同的主题相关的词向量，有效解决同一词在不同主题下的歧义问题。

技术领域

本发明涉及无监督文本数据挖掘以及文本主题模型领域，是一种基于混合特征的文本中语义连贯性主题与词向量并发提取方法，能够在提取出语义连贯的主题词分布的同时，为不同文档中的词生成不同的主题相关的词向量，有效解决同一词在不同主题下的歧义问题。此模型还能将LDA中低维的稀疏主题向量推广到分布式连续密集的主题向量，从而可以更方便地衡量主题与主题、主题与词之间的相似度。

背景技术

在这个信息爆炸的大数据时代，人们每天都会以新闻、博客、网页、科学文章、书籍、视频等各种各样的形式阅读浏览大量的内容；在这种鱼龙混杂的情况下，对于有价值的文本检索与关键信息提取变得愈发困难，我们需要依赖于外部的计算工具来组织、搜索以及理解这些繁杂的信息。现在人们对于在线信息的处理往往依赖于搜索引擎与链接，我们习惯于在搜索引擎内按照关键字搜索然后根据返回的文档列表提供的链接导航至不同的信息。而概率主题模型这一系列的算法工具能够从文档中提取出主题词，方便用户进行快速检索与文档分类等操作。同时，概率主题模型还可以看做将文档映射为低维的概率主题向量，从而为下游的文本聚类等自然语言处理任务提供帮助。

在无监督文本数据挖掘中，以LDA为代表的概率主题模型能够被用于提取语料集中文档共享的隐藏主题，为人们提供直观、易于理解的文档主题分布与主题包含的词分布。但是LDA仅依赖于文档与词的全局统计数据，忽略了局部上下文中的词序与共现信息，导致主题包含的多个词之间往往缺乏语义连贯性。另一方面，以Word2Vec为代表的词嵌入技术已经证明了分布式密集向量能够更好地捕获语义与语法规则，更方便地用于衡量词与词之间的相关性；但是其将语料集看做长字符串以致忽略了词与文档的关联信息，只能生成全局唯一的词向量，无法解决一词多义的问题。

鉴于现实工作中我们需要更频繁地在海量文本中进行无监督数据挖掘，快速提取出有效信息或者将本文转化为特征向量等形式以方便下游应用使用，因此急需合适的方法来提取出文本中语义连贯的主题的同时生成词对应的嵌入特征向量。

发明内容

发明目的：本发明在生成式概率主题模型与词嵌入等相关技术的基础上，提出了混合特征的文本中主题与词向量提取模型。此模型能够在提取出语义连贯的主题词分布的同时，为不同文档中的词生成不同的主题相关的词向量，有效解决同一词在不同主题下的歧义问题。此模型还能将LDA中低维的稀疏主题向量推广到分布式连续密集的主题向量，从而可以更方便地衡量主题与主题、主题与词之间的相似度。

技术方案：

基于混合特征的文本中语义连贯性主题与词向量并发提取方法，包括步骤：

步骤1：使用开源分词工具将语料库中的文档进行中文分词并且去除停用词；

步骤2：利用开源工具建立词表与词-文档矩阵；

步骤3：基于固定尺寸的与固定步长的滑动窗口进行文档切分，将步骤2得到的文档切分为多个局部上下文；并抽取出多元词组，每个多元词组包含多个局部上下文中共现的词；

步骤4：对步骤3中抽取出来的多元词组进行吉布斯采样，产生“多元词组-主题”分布与“主题-词”分布；并步骤3生成文档主题分布；

步骤5：进行外部语料集的抓取，并进行预处理；