[发明专利]面向短文本的单主题挖掘方法及系统

权利要求书

1.一种面向短文本的单主题挖掘方法，其特征在于，包括以下步骤：

采集多条短文本；

对所述多条短文本的每条短文本进行预处理；

对每条短文本采用单主题的双词对主题算法进行主题自动建模，并且在吉布斯采样时，限定为单主题；以及

获所述每条短文本潜在的单个主题。

2.根据权利要求1所述的面向短文本的单主题挖掘方法，其特征在于，所述对每条短文本采用单主题的双词对主题算法进行主题自动建模，进一步包括：

利用隐含狄利克雷分布主题模型从文本中词项的共现特征来得到文本的主题结构；

利用双词对主题模型从建模双词的产生来学习主题。

3.根据权利要求2所述的面向短文本的单主题挖掘方法，其特征在于，双词为在同一个上下文中共现的无序词对。

4.根据权利要求1所述的面向短文本的单主题挖掘方法，其特征在于，所述对多条短文本的每条短文本进行预处理包括：

抽取文本内容，并且清除所述文本内容中杂乱信息；

对清理后的所述文本内容进行分词处理，以计算每个词语的词频；

去掉词频低于预设值的词语。

5.根据权利要求1-4任一项所述的面向短文本的单主题挖掘方法，其特征在于，还包括：

在自动建模之后，获取主题下的Top K个关键词；

对获取的所述单个主题和所述主题下的Top K个关键词进行可视化展示。

6.一种面向短文本的单主题挖掘系统，其特征在于，包括：

数据采集模块，用于采集多条短文本；

数据处理模块，用于对所述多条短文本的每条短文本进行预处理；

主题建模模块，用于对每条短文本采用单主题的双词对主题算法进行主题自动建模，并且在吉布斯采样时，限定为单主题；以及

获取模块，用于获所述每条短文本潜在的单个主题。

7.根据权利要求6所述的面向短文本的单主题挖掘系统，其特征在于，所述主题建模模块还用于：

利用隐含狄利克雷分布主题模型从文本中词项的共现特征来得到文本的主题结构；

利用双词对主题模型从建模双词的产生来学习主题。

8.根据权利要求7所述的面向短文本的单主题挖掘系统，其特征在于，双词为在同一个上下文中共现的无序词对。

9.根据权利要求6所述的面向短文本的单主题挖掘系统，其特征在于，所述数据处理模块包括：

抽取单元，用于抽取文本内容，并且清除所述文本内容中杂乱信息；

分词单元，用于对清理后的所述文本内容进行分词处理，以计算每个词语的词频；

筛选单元，用于去掉词频低于预设值的词语。

10.根据权利要求6-9任一项所述的面向短文本的单主题挖掘系统，其特征在于，还包括：

主题可视化模块，用于在自动建模之后，获取主题下的Top K个关键词，并且对获取的所述单个主题和所述主题下的Top K个关键词进行可视化展示。