[发明专利]分词处理的方法、装置、设备以及存储介质

说明书

本公开提供了一种分词处理方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及深度学习、云计算等技术领域。具体实现方案为：依据目标文本中至少一个分词的分词词频和分词自由度，确定第一分词处理结果，其中，分词词频用于表征任意一个分词在目标文本中出现的频次，自由度用于表征任意一个分词在目标文本中独立或自由的程度；基于获取到的目标文本中每个分词的左右熵与互信息的加总值，确定第二分词处理结果；基于第一分词处理结果和第二分词处理结果，计算得到目标分词处理结果。本公开解决了现有技术中分词处理方法包含无效词语，导致文本热词的召回效率和准确率低的技术问题。

技术领域

本公开涉及热词发现技术领域，尤其涉及分词处理技术领域，具体涉及一种分词处理的方法、装置、设备以及存储介质。

背景技术

在文本分析中，热词发现是一个重点需求，通过对文本中的热词进行发现，可以得到文本重点标签，方便查找文本的重点以及相关的文本进行处理。

但是，现有的热词发现方法中，在对文本进行分词时，会对所有中文文本进行分词，因此，许多无效词，例如：助词，也会被进行分词召回，导致文本热词召回的准确率较低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本公开提供了一种用于分词处理的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种分词处理方法，包括：依据目标文本中至少一个分词的分词词频和分词自由度，确定第一分词处理结果，其中，上述分词词频用于表征任意一个上述分词在上述目标文本中出现的频次，上述自由度用于表征任意一个上述分词在上述目标文本中独立或自由的程度；基于获取到的上述目标文本中每个上述分词的左右熵与互信息的加总值，确定第二分词处理结果，其中，上述左右熵与上述互信息用于筛选出上述目标文本中的目标分词；基于上述第一分词处理结果和上述第二分词处理结果，计算得到目标分词处理结果。

可选的，在依据目标文本至少一个分词词频和分词自由度，确定第一分词处理结果之前，上述方法还包括：采用词法分析算法对上述目标文本进行分词处理，得到多个上述分词，其中，上述词法分析算法用于将上述目标文本划分为分词，以及识别每个上述分词的词性；采用统计语言算法对多个上述分词进行整合，得到分词整合结果。

可选的，在采用统计语言算法对多个上述分词进行整合，得到分词整合结果之前，上述方法还包括：基于上述词性过滤掉多个上述分词中的无效词，其中，上述无效词包括以下至少之一：助词、连词、副词、叹词、介词、语气词、标点符号。

可选的，上述依据目标文本中多个分词的分词词频和分词自由度，确定第一分词处理结果，包括：依据上述分词词频对上述分词整合结果进行第一过滤处理，得到过滤处理结果，其中，上述第一过滤处理用于过滤掉上述分词整合结果中分词词频低于词频阈值的分词；基于上述过滤处理结果中不同分词的分词自由度，对上述过滤处理结果进行第二过滤处理，得到第一分词处理结果，其中，上述第二过滤处理用于过滤掉上述过滤处理结果中的分词自由度低于自由度阈值的分词。

可选的，上述基于获取到的上述目标文本中每个上述分词的左右熵与互信息的加总值，确定第二分词处理结果，包括：计算上述目标文本中每个上述分词的左右熵与互信息的加总值；从多个上述分词中过滤掉上述加总值小于加总阈值的上述分词，得到上述第二分词处理结果。

可选的，上述基于上述第一分词处理结果和上述第二分词处理结果，计算得到目标分词处理结果，包括：获取上述第一分词处理结果和上述第二分词处理结果的交集数据；将上述交集数据作为上述目标分词处理结果。

可选的，上述依据上述分词词频对上述分词整合结果进行第一过滤处理，得到过滤处理结果，包括：采用基于信息检索的加权算法依据上述分词词频对上述分词整合结果进行第一过滤处理，得到上述过滤处理结果。