[发明专利]一种文本的分词方法、系统、计算机设备及存储介质

权利要求书

1.一种文本的分词方法，其特征在于，包括：

获取待分词的文本；

针对所述文本的每句话，按照自左向右的顺序，以结束点为界将该句话分为多个语义块，其中，两个连续的字在待分词的文本所属领域的词表中不存在相连的记录，则将该两个连续字的前一个字记为结束点；

对每个语义块进行全切分，得到该语义块的所有可能的切分方式；

针对每个语义块的所有可能的切分方式，按照自左向右的顺序进行遍历的概率计算，选择概率最大的一种切分方式，作为最终的分词结果；

其中，各领域的词表为预先训练得到，且各领域的词表分别包括多个词汇及各词汇在该领域的出现概率。

2.根据权利要求1所述的分词方法，其特征在于，训练各领域的词表的步骤包括：

获取不同领域的语料；

针对每个领域的语料中的每句话，判断相邻的两个字在预设词表中是否存在相连记录，将存在相连记录的多个连续的字记为一个词汇；

根据各词汇生成每个领域的候选词表；

迭代计算各候选词表中每个词汇的出现概率，并在每次迭代中，丢弃出现概率小于第一阈值的词汇，将迭代结束后得到的各候选词表作为相应领域的词表。

3.根据权利要求2所述的分词方法，其特征在于：所述判断相邻的两个字在预设词表中是否存在相连记录，将存在相连记录的多个连续的字记为一个词汇的步骤包括：

采用BERT模型，按照自左向右的顺序，依次判断相邻的两个字在预设词表中是否存在相连记录，若存在相连记录，则为该相邻的两个字分配相同的标识值；否则，为后一个字分配与前一个字不同的标识值；

标识值相同的多个连续的字记为一个词汇。

4.根据权利要求2所述的分词方法，其特征在于，所述根据各所述词汇生成每个领域的候选词表的步骤包括：

计算每个词汇在所属领域中的出现概率，选择出现概率大于第二阈值的词汇、以及该词汇对应的出现概率加入每个领域的候选词表中。

5.根据权利要求2所述的分词方法，其特征在于，所述获取不同领域的语料的步骤包括：

采用scrapy爬虫收集每个领域的语料；

对收集的每个领域的语料进行清洗后，再拆分为单个句子。

6.根据权利要求5所述的分词方法，其特征在于，所述预设词表是基于不同领域的语料、NLP语料库和通用词典中的任意一个或多个构成。

7.根据权利要求1所述的文本的分词方法，其特征在于，每个语义块的词汇长度小于等于15。

8.一种文本的分词系统，其特征在于，包括：

文本获取模块，用于获取待分词的文本；

文本分块模块，用于针对待分词的文本的每句话，按照自左向右的顺序，以结束点为界将该句话分为多个语义块，其中，两个连续的字在待分词的文本所属领域的词表中不存在相连的记录，则将该两个连续字的前一个字记为结束点；各领域的词表为预先训练得到，且各领域的词表分别包括多个词汇及各词汇在该领域的出现概率；

切分模块，对每个语义块进行全切分，得到该语义块的所有可能的切分方式，针对每个语义块的所有可能的切分方式，按照自左向右的顺序进行遍历的概率计算，选择概率最大的一种切分方式，作为最终的分词结果。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的文本的分词方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的文本的分词方法的步骤。