[发明专利]短文本聚类设备及方法

权利要求书

1.一种短文本聚类设备，包括：

主题分析单元，对辅助文本集合与短文本集合中的每一个文本执行主题分析，以获得短文本集合中的每个短文本对应于辅助文本集合的主题和短文本集合的主题的可能性；

向量生成单元，将每个短文本对应于辅助文本集合的主题和短文本集合的主题的可能性进行归一化，以生成向量；以及

聚类单元，基于生成的向量对短文本集合中的短文本进行聚类。

2.根据权利要求1所述的短文本聚类设备，其中，所述主题分析单元通过开关参数来确定辅助文本集合与短文本集合中的每一个文本中的词对应于辅助文本集合的主题还是短文本集合的主题；如果对应于辅助文本集合的主题，则所述主题分析单元通过第一潜在狄利克雷分配执行主题分析，如果对应于短文本集合的主题，则所述主题分析单元通过第二潜在狄利克雷分配执行主题分析。

3.根据权利要求2所述的短文本聚类设备，其中，所述主题分析单元利用吉布斯采样算法来估计第一潜在狄利克雷分配和第二潜在狄利克雷分配中使用的参数，其中辅助文本集合的主题的采样频率正比于除去当前词在上一个循环中的采样后、所有其它词选中辅助文本集合的主题的次数，短文本集合的主题的采样频率正比于除去当前词在上一个循环中的采样后、所有其它词选中短文本集合的主题的次数。

4.根据权利要求1所述的短文本聚类设备，其中，所述向量生成单元在辅助文本集合的主题和短文本集合的主题的合集上生成向量。

5.根据权利要求2所述的短文本聚类设备，其中，所述开关参数的值服从二项分布。

6.根据权利要求2所述的短文本聚类设备，其中，所述主题分析单元确定开关参数以保证辅助文本中的词对应于辅助文本集合的主题的可能性大于对应于短文本集合的主题的可能性，并且短文本中的词对应于短文本集合的主题的可能性大于对应于辅助文本集合的主题的可能性。

7.一种短文本聚类方法，包括：

主题分析步骤，对辅助文本集合与短文本集合中的每一个文本执行主题分析，以获得短文本集合中的每个短文本对应于辅助文本集合的主题和短文本集合的主题的可能性；

向量生成步骤，将每个短文本对应于辅助文本集合的主题和短文本集合的主题的可能性进行归一化，以生成向量；以及

聚类步骤，基于生成的向量对短文本集合中的短文本进行聚类。

8.根据权利要求7所述的短文本聚类方法，其中，所述主题分析步骤包括：通过开关参数来确定辅助文本集合与短文本集合中的每一个文本中的词对应于辅助文本集合的主题还是短文本集合的主题；如果对应于辅助文本集合的主题，则通过第一潜在狄利克雷分配执行主题分析，如果对应于短文本集合的主题，则通过第二潜在狄利克雷分配执行主题分析。

9.根据权利要求8所述的短文本聚类方法，其中，利用吉布斯采样算法来估计第一潜在狄利克雷分配和第二潜在狄利克雷分配中使用的参数，其中辅助文本集合的主题的采样频率正比于除去当前词在上一个循环中的采样后、所有其它词选中辅助文本集合的主题的次数，短文本集合的主题的采样频率正比于除去当前词在上一个循环中的采样后、所有其它词选中短文本集合的主题的次数。

10.根据权利要求7所述的短文本聚类方法，其中，所述向量生成步骤包括：在辅助文本集合的主题和短文本集合的主题的合集上生成向量。

11.根据权利要求8所述的短文本聚类方法，其中，所述开关参数的值服从二项分布。

12.根据权利要求8所述的短文本聚类方法，其中，确定开关参数以保证辅助文本中的词对应于辅助文本集合的主题的可能性大于对应于短文本集合的主题的可能性，并且短文本中的词对应于短文本集合的主题的可能性大于对应于辅助文本集合的主题的可能性。