[发明专利]基于主题词特征扩展的中文新闻标题分类方法

说明书

本发明提供一种基于主题词特征扩展的中文新闻标题分类方法。该方法包括：步骤1：采用多种分词算法对待分类中文新闻标题分别进行分词预处理，得到关于所述中文新闻标题在每种分词算法下的分词结果，合并所有的分词结果得到若干个单词；步骤2：计算每个单词的权重以得到所述待分类中文新闻标题的加权后标题向量；并基于所述分词结果构建所述待分类中文新闻标题的主题向量并计算主题向量权重；步骤3：计算所述加权后标题向量和每个所述主题向量之间的相似度，将相似度最大的主题向量与所述加权后标题向量进行向量拼接，得到特征向量；步骤4：利用卷积神经网络对所述特征向量进行特征提取并分类。

技术领域

本发明涉及文本分类技术领域，尤其涉及一种基于主题词特征扩展的中文新闻标题分类方法。

背景技术

随着5G时代的到来，互联网技术的飞速发展给人们带来便利的同时也带来了诸多挑战。人们每天接触到的短文本数据如搜索片段、微博、新闻标题等，都包含了大量有价值的信息，然而现有短文本分类方法大多只关注微博等几十词的文本，而很少考虑新闻标题等词量更少的少词短文本数据。新闻标题分类主要是依据标题语义对其所属领域进行判断并分类。由于新闻标题是建立在弱相关词语上的强迫性语义表述的短句，常规的短文本分类方法并不能有效进行分类，同时高质量的标题分类对新闻内容类别划分有着高效的促进作用，并有效节省计算开销，其主要应用方向包括领域机器翻译及虚假信息检测等。

截至目前，虽然有很多机器学习算法及深度神经网络方法在进行短文本分类时表现良好，但这些分类方法在领域标题分类时表现不佳。这是由于新闻标题一般含有的文本较少特征相对稀疏，并且词语间关联程度不高，从而影响分类精度，因此以往的短文本分类方法很难有效对其进行处理。此外，由于新闻标题词语间的弱关联性导致缺乏词的共现信息，严重阻碍了文档主题分布的生成，因此传统的主题建模方法在领域标题主题建模领域无法取得满意的效果。

发明内容

为了解决由于新闻标题的强领域性及有限的文本长度导致的特征稀疏性，现有的常规短文本分类方法很难在新闻标题领域分类中取得良好的效果的问题，本发明提供一种基于主题词特征扩展的中文新闻标题分类方法。

本发明提供一种基于主题词特征扩展的中文新闻标题分类方法，包括：

步骤1：采用多种分词算法对待分类中文新闻标题分别进行分词预处理，得到关于所述中文新闻标题在每种分词算法下的分词结果，合并所有的分词结果得到若干个单词；

步骤2：计算每个单词的权重以得到所述待分类中文新闻标题的加权后标题向量；并基于所述分词结果构建所述待分类中文新闻标题的主题向量并计算主题向量权重；

步骤3：计算所述加权后标题向量和每个所述主题向量之间的相似度，将相似度最大的主题向量与所述加权后标题向量进行向量拼接，得到特征向量；

步骤4：利用卷积神经网络对所述特征向量进行特征提取并分类。

进一步地，步骤2中，所述计算每个单词的权重，具体包括：计算每个单词的类别区分程度和词性权重。

进一步地，根据公式(1)计算每个单词的类别区分程度IDF：

其中，P_t表示单词在当前类别出现的频率，P_o单词在其他类别出现的频率。

进一步地，所述计算每个单词的词性权重，具体包括：

针对名词和/或动词，对应的词性权重为α；针对形容词和/或副词，对应的词性权重为β；除名词、动词、形容词和副词之外的其他词性单词，对应的词性权重为γ；其中，1αβγ0。

进一步地，步骤2中，所述基于所述分词结果构建所述待分类中文新闻标题的主题向量并计算主题向量权重，具体包括：

获取中文新闻标题数据集，所述数据集中包括多个中文新闻标题；