[发明专利]基于词性编码的短文本聚类方法、装置及计算机设备

说明书

本申请公开了一种基于词性编码的短文本聚类方法、装置及计算机设备，涉及计算机技术领域，可以解决在对短文本进行聚类划分时，存在编码向量维度过高且较为稀疏，或编码向量存在信息损失的问题。其中方法包括：对预处理后的目标短文本进行切词，获取得到各个关键词；确定各个所述关键词对应的目标词性；依据所述目标词性以及各个所述关键词在所述目标短文本中的排列顺序，计算所述目标短文本的编码表达向量；根据所述编码表达向量对各个所述目标短文本进行聚类划分。本申请适用于对短文本的聚类划分。

技术领域

本申请涉及计算机技术领域，尤其涉及到一种基于词性编码的短文本聚类方法、装置及计算机设备。

背景技术

随着电子设备的广泛使用，在不同领域的沟通与通信产生的自然语言文本数据呈指数级上涨，而当前计算机或人工方式处理指数级上涨的非结构化自然语言文本对计算机算力与算法处理提出了更高的要求。

文本聚类是计算机自然语言处理中的一个重要研究方向，近年来受到不同领域的广泛关注，也是处理大量非结构化文本的一个重要解决方案。其任务是通过将不同语言的文本进行编码得到向量表示，再计算文本对应的向量表示之间的相似度将相似度较近的文本归为一类，反之归为不同类。

而文本聚类中的文本编码对最终的聚类结果起到了决定性的影响，因为不同的编码方式得到文本间相似度不同。常见的文本编码方法主要是根据文本中的关键词建立词袋或组合文本中关键词词向量的方式进行编码，前者得到的编码向量维度过高且较为稀疏，而后者得到的编码向量有严重的不可解释性与信息损失等不同问题。

发明内容

有鉴于此，本申请提供了一种基于词性编码的短文本聚类方法、装置及计算机设备，主要解决在对短文本进行聚类划分时，存在编码向量维度过高且较为稀疏，或编码向量存在信息损失的问题。

根据本申请的一个方面，提供了一种基于词性编码的短文本聚类方法，该方法包括：

对预处理后的目标短文本进行切词，获取得到各个关键词；

确定各个所述关键词对应的目标词性；

依据所述目标词性以及各个所述关键词在所述目标短文本中的排列顺序，计算所述目标短文本的编码表达向量；

根据所述编码表达向量对各个所述目标短文本进行聚类划分。

可选地，在所述对预处理后的目标短文本进行切词，获取得到各个关键词之前，具体还包括：

对目标短文本进行预处理；

所述对目标短文本进行预处理，具体包括：

滤除目标短文本中的特殊字符；

将所述目标短文本中的大写英文字母替换为小写字母；

对符合预设条件的字符组合进行加密处理或替换为预设字符。

可选地，所述对预处理后的目标短文本进行切词，获取得到各个关键词，具体包括：

依据关键词词典对所述目标短文本进行正则匹配，将匹配到的词切分为第一关键词；

将剩余未匹配到的词确定为第二关键词，并将所述第二关键词作为新词更新至所述关键词词典中。

可选地，所述对预处理后的目标短文本进行切词，获取得到各个关键词，具体还包括：

依据样本数据中的短文本集合提取各个关键词的隐藏状态序列；

获取所述目标短文本的观察状态序列；

根据所述观察状态序列对应各个隐藏状态序列的最大概率，确定切词结果，以便切分获取得到各个关键词。

可选地，所述确定各个所述关键词对应的目标词性，具体包括：