[发明专利]面向短文本的单主题挖掘方法及系统

说明书

技术领域

本发明涉及计算机应用及社交网络技术领域，特别涉及一种面向短文本的单主题挖掘方法及系统。

背景技术

随着微博平台的蓬勃发展，越来越多的人开始关注一种新的信息承载方式：短文本。字如其意，短文本最大的特点就是文本长度很短，通常只有100个字。短文本的形式多种多样：微博内容、搜索引擎的query、即时通讯软件的聊天内容、BBS论坛的回帖。

短文本的第二个特点就是口语化严重，拼写随意。不同于传统诸如博客、新闻报道等网络长文本，短文本往往是个人用户表达情感，描述生活状态的信息载体，它们往往很随意，其中经常包含错别字、网络用语、文字加拼音的表示方式，甚至语法都不正确。

短文本的第三个特点是数量巨大，以微博平台为例，截止2016年12月，微博月活跃人数已达到3.13亿，较2015年同期相比增长34％，使得这么多的用户带来了海量的微博数据。

短文本的第四个特点是实时性要求高，由于短文本数量巨大且不断被产生，所以必须要进行实时处理，导致传统的有监督方法效果不如无监督方法。

因此，短文本的主题获取较为困难，且准确性较低，有待改进。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种面向短文本的单主题挖掘方法，该方法可以获取短文本潜在的单个主题，提高挖掘主题效率，并且提高挖掘的准确性，提升用户体验。

本发明的另一个目的在于提出一种面向短文本的单主题挖掘系统。

为达到上述目的，本发明一方面实施例提出了一种面向短文本的单主题挖掘方法，包括以下步骤：采集多条短文本；对所述多条短文本的每条短文本进行预处理；对每条短文本采用单主题的双词对主题算法进行主题自动建模，并且在吉布斯采样时，限定为单主题；获所述每条短文本潜在的单个主题。

本发明实施例的面向短文本的单主题挖掘方法，可以对各种形式的短文本进行自动预处理，自动主题建模，实现挖掘潜在主题的目的，不但可以能对短文本进行主题自动建模，并且限制每条短文本只有一个主题，从而获取短文本潜在的单个主题，提高挖掘主题效率，并且提高挖掘的准确性，提升用户体验。

另外，根据本发明上述实施例的面向短文本的单主题挖掘方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对每条短文本采用单主题的双词对主题算法进行主题自动建模，进一步包括：利用隐含狄利克雷分布主题模型从文本中词项的共现特征来得到文本的主题结构；利用双词对主题模型从建模双词的产生来学习主题。

进一步地，在本发明的一个实施例中，双词为在同一个上下文中共现的无序词对。

进一步地，在本发明的一个实施例中，所述对多条短文本的每条短文本进行预处理包括：抽取文本内容，并且清除所述文本内容中杂乱信息；对清理后的所述文本内容进行分词处理，以计算每个词语的词频；去掉词频低于预设值的词语。

进一步地，在本发明的一个实施例中，还包括：在自动建模之后，获取主题下的Top K个关键词；对获取的所述单个主题和所述主题下的Top K个关键词进行可视化展示。

为达到上述目的，本发明另一方面实施例提出了一种面向短文本的单主题挖掘系统，包括：数据采集模块，用于采集多条短文本；数据处理模块，用于对所述多条短文本的每条短文本进行预处理；主题建模模块，用于对每条短文本采用单主题的双词对主题算法进行主题自动建模，并且在吉布斯采样时，限定为单主题；获取模块，用于获所述每条短文本潜在的单个主题。

本发明实施例的面向短文本的单主题挖掘系统，可以对各种形式的短文本进行自动预处理，自动主题建模，实现挖掘潜在主题的目的，不但可以能对短文本进行主题自动建模，并且限制每条短文本只有一个主题，从而获取短文本潜在的单个主题，提高挖掘主题效率，并且提高挖掘的准确性，提升用户体验。

另外，根据本发明上述实施例的面向短文本的单主题挖掘系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述主题建模模块还用于：利用隐含狄利克雷分布主题模型从文本中词项的共现特征来得到文本的主题结构；利用双词对主题模型从建模双词的产生来学习主题。

进一步地，在本发明的一个实施例中，双词为在同一个上下文中共现的无序词对。