[发明专利]一种文本的分词方法、系统、计算机设备及存储介质

说明书

本发明涉及人工智能技术领域，提供一种文本的分词方法、系统、计算机设备及存储介质，包括：获取待分词的文本；针对所述文本的每句话，按照自左向右的顺序，以结束点为界将该句话分为多个语义块；两个连续的字在待分词的文本所属领域的词表中不存在相连的记录，则将该两个连续字的前一个字记为结束点；对每个语义块进行全切分，得到该语义块的所有可能的切分方式；针对每个语义块所有的切分方式，按照自左向右的顺序进行遍历的概率计算，选择概率最大的一种切分方式，作为最终的分词结果。本发明的分词方案基于概率，在一个块内遍历所有的解，并综合考虑了文本的前后文联系，能够得到更加准确的分词结果，减少了人力成本，提高了分词准确率。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种文本的分词方法、系统、计算机设备及存储介质。

背景技术

在自然语言处理(Natural Language Processing，NLP)领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，受到了各界的广泛关注。

目前NLP预训练模型的分词以BPE方式(Byte Pair Encoding，字节对)构建词表，再用最大前向匹配算法进行分词，这种分词方式会导致以下问题：

1、BPE方式生成的词表，只考虑了词频率，而忽视了语义层面的考虑，导致分词结果不够准确；

2、最大前向匹配分词只追求贪婪的局部分词最优解，没有全局考量，无法做到用最小分词块表示最多语义，造成资源浪费。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种文本的分词方法、系统、计算机设备及存储介质，用于解决现有技术中NLP预训练模型的分词结果不够准确、无法做到用最小分词块表示最多语义，造成资源浪费的问题。

本发明的第一方面提供一种文本的分词方法，包括：获取待分词的文本；

针对待分词的文本的每句话，按照自左向右的顺序，以结束点为界将该句话分为多个语义块，其中，两个连续的字在待分词的文本所属领域的词表中不存在相连的记录，则将该两个连续字的前一个字记为结束点；

对每个语义块进行全切分，得到该语义块的所有可能的切分方式；

针对每个语义块的所有可能的切分方式，按照自左向右的顺序进行遍历的概率计算，选择概率最大的一种切分方式，作为最终的分词结果；

其中，各领域的词表为预先训练得到，且各领域的词表分别包括多个词汇及各词汇在该领域的出现概率。

于本发明的一实施例中，训练各领域的词表的步骤包括：

获取不同领域的语料；

针对每个领域的语料中的每句话，判断相邻的两个字在预设词表中是否存在相连记录，将存在相连记录的多个连续的字记为一个词汇；

根据各词汇生成每个领域的候选词表；

迭代计算各候选词表中每个词汇的出现概率，并在每次迭代中，丢弃出现概率小于第一阈值的词汇，将迭代结束后得到的各候选词表作为相应领域的词表。

于本发明的一实施例中，所述判断相邻的两个字在预设词表中是否存在相连记录，将存在相连记录的多个连续的字记为一个词汇的步骤包括：

采用BERT模型，按照自左向右的顺序，依次判断相邻的两个字在预设词表中是否存在相连记录，若存在相连记录，则为该相邻的两个字分配相同的标识值；否则，为后一个字分配与前一个字不同的标识值；

标识值相同的多个连续的字记为一个词汇。

于本发明的一实施例中，所述根据各所述词汇生成每个领域的候选词表的步骤包括：