[发明专利]社交网络上短文本数据的数据处理方法及装置

说明书

社交网络上短文本数据的数据处理方法、数据处理装置和电子设备。该数据处理方法包括：获取社交网络上用户的短文本数据；结合短文本数据以形成长文档；获得所述长文档中与主题相关的关键词、与主题相关的关键词对和用户真实意图信息；将与主题相关的关键词和用户真实意图信息输入LDA主题模型，以获得第一文档‑主题分布和第一主题‑关键词分布；将所述与主题相关的关键词对和所述真实意图信息输入IBTM主题模型，以获得第二文档‑主题分布和第二主题‑关键词分布；以及，基于所述第一文档‑主题分布与所述第二文档‑主题分布之间的判定，确定所述长文档的主题。这样，可以通过处理短文本数据获得与用户相关的主题信息，准确地确定用户兴趣。

技术领域

本申请总的来说地涉及数据处理领域，且更为具体地，涉及一种用于社交网络上短文本数据的数据处理方法、数据处理装置和电子设备。

背景技术

随着社交媒体的发展，越来越多的用户开始通过社交平台(例如，推特、微博)向他人传递信息、分享自己的想法和发布自己感兴趣的内容等。在此过程中，产生大量与用户密切相关的文本信息。如何对这些文本信息进行文本数据挖掘以挖掘出有用的知识成为重要的任务，例如，通过对文本信息处理挖掘出文本信息中包含了哪些主题、用户对哪些主题感兴趣等。

由于这类文本信息的独特特性，其文本较短通常少于140个字，导致在利用现有的主题模型对该类短文本信息进行数据挖掘的过程中遇到诸多问题。

因此，需要适用于该类短文本信息数据挖掘的数据挖掘方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于社交网络上短文本数据的数据处理方法，其通过基于LDA主题模型和IBTM主题模型处理短文本数据而获得与用户相关的主题信息，可以准确地确定用户兴趣。

根据本申请的一方面，提供了一种用于数据处理方法，包括：获取用户的短文本数据；结合预设数量的所述短文本数据以形成长文档；对所述长文档进行预处理以获得所述长文档中与主题相关的关键词、与主题相关的关键词对和用户真实意图信息；将所述与主题相关的关键词和所述用户真实意图信息输入LDA主题模型，以获得所述LDA主题模型的第一文档-主题分布和第一主题-关键词分布；将所述与主题相关的关键词对和所述真实意图信息输入IBTM主题模型，以获得所述IBTM主题模型的第二文档-主题分布和第二主题-关键词分布；以及，基于所述LDA主题模型的所述第一文档-主题分布与所述IBTM主题模型的所述第二文档-主题分布之间的判定，确定所述长文档的主题。

在上述数据处理方法中，对所述长文档进行预处理以获得所述长文档中与主题相关的关键词、与主题相关的关键词对和用户真实意图信息的步骤，包括：对所述长文档中的内容进行去重和去标点；对去重和去标点之后的所述长文档进行分词，并对每一分词进行词性标记；统计各分词的词频；选择词频超过预设阈值的分词为所述与主题相关的关键词，其中，设定同时出现的所述与主题相关的关键词为所述与主题相关的关键词对；以及，按照预设规则进行分词组合以获得所述用户真实意图信息。

在上述数据处理方法中，将所述与主题相关的关键词和所述真实意图信息输入LDA主题模型，以获得所述LDA主题模型的第一文档-主题分布和第一主题-关键词分布的步骤，包括：将狄利克雷先验和预设主题数量输入所述LDA主题模型；和，基于所述狄利克雷先验、预设主题数量、所述用户真实意图信息和所述与主题相关的关键词进行增量式吉布斯采样，以获得所述LDA主题模型的第一文档-主题分布和第一主题-关键词分布。

在上述数据处理方法中，将所述与主题相关的关键词对和所述真实意图信息输入IBTM主题模型，以获得所述IBTM主题模型的第二文档-主题分布和第二主题-关键词分布的步骤，包括：将狄利克雷先验和预设主题数量输入所述IBTM主题模型；和，基于所述狄利克雷先验、预设主题数量、所述用户真实意图信息和所述与主题相关的关键词对进行增量式吉布斯采样，以获得所述IBTM主题模型的第二文档-主题分布和第二主题-关键词分布。