[发明专利]分词方法、装置、电子设备及可读存储介质

说明书

本申请提供了一种分词方法、装置、电子设备及可读存储介质，涉及计算机技术领域。该方法包括：从待分词文本中，获得待分词文本中每个字符对应的候选分词集，任意一个字符对应的候选分词集中包括以该字符为起始字符的候选分词，在候选分词中包括多个字符时，该多个字符为待分词文本中的连续字符；根据每个字符对应的候选分词集，通过动态规划方式，以候选分词结果中包括的各候选分词的字符串长度乘积最大为目标，按照从后往前的顺序对待分词文本中的各字符进行遍历，获得候选分词结果，进而确定目标分词结果，任意一个候选分词结果中的候选分词总和构成待分词文本。如此，无需使用训练集训练分词模型，同时可保证分词结果的准确性。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种分词方法、装置、电子设备及可读存储介质。

背景技术

分词在信息检索、文本挖掘等方向非常重要，目前常用的分词方法有基于模型的分词。基于模型分词具有拟合性好的优点，但它用于训练集未囊括的上下文场景时，往往不可靠，且语料标注要求高。

发明内容

本申请实施例提供了一种分词方法、装置、电子设备及可读存储介质，其能够无需使用训练集训练分词模型，同时保证分词结果的准确性，具有效果好、成本低等特点。

本申请的实施例可以这样实现：

第一方面，本申请实施例提供一种分词方法，所述方法包括：

从待分词文本中，获得所述待分词文本中每个字符对应的候选分词集，其中，任意一个字符对应的所述候选分词集中包括以所述字符为起始字符的候选分词，在所述候选分词中包括多个字符时，所述多个字符为所述待分词文本中的连续字符；

根据每个字符对应的候选分词集，通过动态规划方式，以候选分词结果中包括的各候选分词的字符串长度乘积最大为目标，按照从后往前的顺序对所述待分词文本中的各字符进行遍历，获得所述候选分词结果，其中，任意一个所述候选分词结果中的所述候选分词总和构成所述待分词文本；

根据获得的所述候选分词结果，确定目标分词结果。

第二方面，本申请实施例提供一种分词装置，所述装置包括：

分词集获得模块，用于从待分词文本中，获得所述待分词文本中每个字符对应的候选分词集，其中，任意一个字符对应的所述候选分词集中包括以所述字符为起始字符的候选分词，在所述候选分词中包括多个字符时，所述多个字符为所述待分词文本中的连续字符；

处理模块，用于根据每个字符对应的候选分词集，通过动态规划方式，以候选分词结果中包括的各候选分词的字符串长度乘积最大为目标，按照从后往前的顺序对所述待分词文本中的各字符进行遍历，获得所述候选分词结果，其中，任意一个所述候选分词结果中的所述候选分词总和构成所述待分词文本；

结果确定模块，用于根据获得的所述候选分词结果，确定目标分词结果。

第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式所述的分词方法。

第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式所述的分词方法。