[发明专利]短文本分类模型的生成方法、分类方法、装置及存储介质

说明书

本发明涉及一种短文本分类模型的生成方法、分类方法、装置及存储介质，包括：获取短文本训练集；获得每篇短文本的词集合；获得每个关键词的语义相关的词集合；计算每个关键词和语义相关的词集合中的每个词的相关度和相似度；获得每个关键词的语义扩展的词；将每个关键词的语义扩展的词添加到所述关键词所在的短文本的关键词集合内，获得每篇短文本的关键词扩展集合；根据每篇短文本的关键词扩展集合训练分类模型，获得短文本分类模型。通过关键词的语义相关的词集合，实现了对关键词的语义扩展；通过综合考虑相关度和相似度，获得每个关键词的扩展的语义词，减少了语义歧义，丰富了语义效果，实现了快捷准确地对短文本进行自动分类。

技术领域

本发明涉及信息处理技术领域，特别是涉及一种短文本分类模型的生成方法、分类方法、装置及存储介质。

背景技术

随着互联网技术的快速发展，网络成为了海量信息的载体，用户创建的短文本也成为了互联网数据的重要来源，其中，用户创建的短文本包括对论坛、留言及回复、咨询、建议及意见反馈、手机短信、网络小纸条、微博、QQ、微信等的聊天或评论信息，这些短文本成为了信息交流和舆论传播的重要手段。

短文本的基数非常庞大，且每天都高速增长，数据中包含了人们对社会各种现象的观点和看法，话题涉及广泛，包括政治、经济、娱乐、生活、体育等各个领域。短文本在很多方面都有重要应用，例如跟踪社会热点信息，预测舆论趋势，发现社会热点问题，帮助政府部门把握社会动态，再比如利用商品的售后评论帮助用户快速分析产品的特点。然而，如何将短文本实现自动分类是一项极具挑战性而又迫切需要解决的问题。

发明内容

基于此，本发明的目的在于，提供一种短文本分类模型的生成方法，其具有可以准确快捷地对短文本进行自动分类的优点。

一种短文本分类模型的生成方法，包括如下步骤：

获取短文本训练集；所述短文本训练集中至少包括一个短文本；

对短文本训练集中的每篇短文本分别进行分词处理，获得每篇短文本的词集合；

获取每篇短文本的词集合中每个词的词频-逆文档频率值，并根据所述词频-逆文档频率值获得每篇短文本的关键词集合；

根据每篇短文本的关键词集合，获得每个关键词的语义相关的词集合；

将每个关键词和语义相关的词集合中的每个词向量化表示，并计算每个关键词和语义相关的词集合中的每个词的相关度和相似度；

根据所述相关度和相似度，获得每个关键词的语义扩展的词；

将每个关键词的语义扩展的词添加到所述关键词所在的短文本的关键词集合内，获得每篇短文本的关键词扩展集合；

根据每篇短文本的关键词扩展集合训练分类模型，获得短文本分类模型。

通过获取关键词的语义相关的词集合，实现了对关键词的语义扩展；通过综合考虑相关度和相似度，筛选获得每个关键词的扩展的语义词，减少了语义歧义，丰富了语义效果，使构建的短文本分类模型可以准确快捷地对短文本进行自动分类。

进一步地，所述对短文本训练集中的每篇短文本分别进行分词处理，获得每篇短文本的词集合之后，还包括步骤：统计每篇短文本的词集合中每个词的词频数量，并删除每篇短文本的词集合中出现次数少于第一设定阈值的词；和/或，删除每篇短文本的词集合中的停用词，以加快短文本处理速度，提升短文本的分类效果。

进一步地，所述根据所述词频-逆文档频率值，获得每篇短文本的关键词集合的步骤，包括：将每篇短文本的词集合中各词的词频-逆文档频率值进行降序排序，并获取排序在第二设定阈值前的词，作为每篇短文本的关键词集合，以挑选出信息丰富的关键词，在保证短文本的丰富的语义的前提下，加快短文本处理速度。