[发明专利]社交网络上短文本数据的数据处理方法及装置

权利要求书

1.一种社交网络上短文本数据的数据处理方法，包括：

获取社交网络上用户的短文本数据；

结合预设数量的所述短文本数据以形成长文档；

对所述长文档进行预处理以获得所述长文档中与主题相关的关键词、与主题相关的关键词对和用户真实意图信息；

将所述与主题相关的关键词和所述用户真实意图信息输入LDA主题模型，以获得所述LDA主题模型的第一文档-主题分布和第一主题-关键词分布；

将所述与主题相关的关键词对和所述真实意图信息输入IBTM主题模型，以获得所述IBTM主题模型的第二文档-主题分布和第二主题-关键词分布；以及

选择通过所述LDA主题模型得到的所述第一文档-主题分布中预设数量的主题作为最佳主题数量的第一文档-主题分布；

选择通过所述IBTM主题模型得到的所述第二文档-主题分布中对应数量的主题作为最佳主题数量的第二文档-主题分布；

基于所述LDA主题模型的所述最佳主题数量的所述第一文档-主题分布与所述IBTM主题模型的所述最佳主题数量的所述第二文档-主题分布的文档-主题概率最大值和最小值之间的差值的判定，确定所述长文档的主题。

2.根据权利要求1所述的数据处理方法，其中，对所述长文档进行预处理以获得所述长文档中与主题相关的关键词、与主题相关的关键词对和用户真实意图信息，包括：

对所述长文档中的内容进行去重和去标点；

对去重和去标点之后的所述长文档进行分词，并对每一分词进行词性标记；

统计各分词的词频；

选择词频超过预设阈值的分词为所述与主题相关的关键词，其中，设定同时出现的所述与主题相关的关键词为所述与主题相关的关键词对；以及

按照预设规则进行分词组合以获得所述用户真实意图信息。

3.根据权利要求2所述的数据处理方法，其中，将所述与主题相关的关键词和所述真实意图信息输入LDA主题模型，以获得所述LDA主题模型的第一文档-主题分布和第一主题-关键词分布，包括：

将狄利克雷先验和预设主题数量输入所述LDA主题模型；和

基于所述狄利克雷先验、预设主题数量、所述用户真实意图信息和所述与主题相关的关键词进行增量式吉布斯采样，以获得所述LDA主题模型的第一文档-主题分布和第一主题-关键词分布。

4.根据权利要求3所述的数据处理方法，其中，将所述与主题相关的关键词对和所述真实意图信息输入IBTM主题模型，以获得所述IBTM主题模型的第二文档-主题分布和第二主题-关键词分布的步骤，包括：

将狄利克雷先验和预设主题数量输入所述IBTM主题模型；和

基于所述狄利克雷先验、预设主题数量、所述用户真实意图信息和所述与主题相关的关键词对进行增量式吉布斯采样，以获得所述IBTM主题模型的第二文档-主题分布和第二主题-关键词分布。

5.根据权利要求4所述的数据处理方法，其中，基于所述LDA主题模型的所述第一文档-主题分布与所述IBTM主题模型的所述第二文档-主题分布的文档-主题概率最大值和最小值之间的差值的判定，确定所述长文档的主题，包括：

响应于确定所述最佳主题数量的第一文档-主题分布中文档-主题概率最大值和最小值之间的差值大于预设阈值的判定，确定所述最佳主题数量的第一文档-主题分布中的主题为所述长文档的主题；以及

响应于确定所述最佳主题数量的第一文档-主题分布中文档-主题概率最大值和最小值之间的差值小于预设阈值的判定，确定所述最佳主题数量的第二文档-主题分布中的主题为所述长文档的主题。