[发明专利]一种文本数据的分词方法、装置及电子设备

权利要求书

1.一种文本数据的分词方法，该方法包括:

通过通用分词模型对文本数据进行分词获得通用分词结果；

获取所述文本数据所属业务领域的业务领域专有名词；

根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果。

2.如权利要求1所述的方法，所述方法还包括：

将所述领域分词结果中的目标分词替换为所述业务领域中的标准词，其中，在所述业务领域内所述目标分词为所述标准词的同义词；

获得替换后的所述领域分词结果作为领域同义分词结果。

3.如权利要求1所述的方法，所述业务领域专有名词采用双数组树结构存储，所述双数组树的每一个节点存储一个字，所述双数组树的一个根节点到叶节点上的所有字构成一个专有名词。

4.如权利要求1所述的方法，在根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果之前，所述方法还包括：

根据预设的修复规则对所述通用分词结果进行修正，其中，所述修复规则包括词语之间的词性匹配规则和/或正则匹配规则；

并通过修正结果更新所述通用分词结果。

5.如权利要求1所述的方法，根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果，包括：

判断所述通用分词结果中相邻的通用分词是否与所述业务领域专有名词中的专有名词匹配；

若判断结果为是，将所述通用分词结果中所述相邻的通用分词合并为所述专有名词，获得所述领域分词结果。

6.如权利要求1～5任一所述方法，所述业务领域专有名词中包含所述业务领域专有的标准词和所述标准词的同义词。

7.一种文本数据的分词装置，该装置包括:

通用分词单元，用于通过通用分词模型对文本数据进行分词获得通用分词结果；

获取单元，用于获取所述文本数据所属业务领域的业务领域专有名词，其中，所述业务领域专有名词采用双数组树结构存储；

领域分词单元，用于根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果。

8.如权利要求7所述的装置，所述装置还包括：

同义分词单元，用于将所述领域分词结果中的目标分词替换为所述业务领域中的标准词，其中，在所述业务领域内所述目标分词为所述标准词的同义词；获得替换后的所述领域分词结果作为领域同义分词结果。

9.如权利要求7所述的装置，所述业务领域专有名词采用双数组树结构存储，所述双数组树的每一个节点存储一个字，所述双数组树的一个根节点到叶节点上的所有字组成一个专有名词。

10.如权利要求7所述的装置，所述装置还包括：

修正单元，用于在根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果之前，根据预设的修复规则对所述通用分词结果进行修正，其中，所述修复规则包括词语之间的词性匹配规则和/或正则匹配规则；并通过修正结果更新所述通用分词结果。

11.如权利要求7所述的装置，所述领域分词单元用于：

判断所述通用分词结果中相邻的通用分词是否与所述业务领域专有名词中的专有名词匹配；

若判断结果为是，将所述通用分词结果中所述相邻的通用分词合并为所述专有名词，获得所述领域分词结果。

12.如权利要求7～11任一所述装置，所述业务领域专有名词中包含所述业务领域专有的标准词和所述标准词的同义词。