[发明专利]一种文本数据的分词方法、装置及电子设备

说明书

本说明书公开了一种文本数据的分词方法、装置及电子设备。该分词方法包括：通过通用分词模型对文本数据进行分词获得通用分词结果；以及获取文本数据所属业务领域的业务领域专有名词；从而根据该业务领域专有名词和通用分词结果对文本数据进行分词，获得文本数据的领域分词结果。在该技术方案中，通过分词模型和业务领域专有名词的结合，针对不同领域的领域分词只需获取对应领域的领域专有名词即可，从而可以由了一个模型实现多个领域的领域分词，解决了现有技术中多领域分词需要多个领域分词模型导致的成本过高的技术问题，降低了模型训练和模型维护成本。

技术领域

本说明书涉及软件技术领域，特别涉及一种文本数据的分词方法、装置及电子设备。

背景技术

现有技术中，不同领域往往涉及不同的领域专有名词，如花呗、借呗、相互宝、网商贷、淘票票、周周乐、飞猪等，对分词粒度的需求也不尽相同，往往需要对每个不同的领域训练专有的分词模型，来实现不同领域内的领域分词。

发明内容

本说明书实施例提供一种文本数据的分词方法、装置及电子设备，用于降低多领域文本数据分词的成本。

第一方面，本说明书实施例提供一种文本数据的分词方法，该方法包括:

通过通用分词模型对文本数据进行分词获得通用分词结果；

获取所述文本数据所属业务领域的业务领域专有名词；

根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果。

可选的，该分词方法还包括：将所述领域分词结果中的目标分词替换为所述业务领域中的标准词，其中，在所述业务领域内所述目标分词为所述标准词的同义词；获得替换后的所述领域分词结果作为领域同义分词结果。

可选的，所述业务领域专有名词采用双数组树结构存储，所述双数组树的每一个节点存储一个字，所述双数组树的一个根节点到叶节点上的所有字构成一个专有名词。

可选的，在根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果之前，所述方法还包括：

根据预设的修复规则对所述通用分词结果进行修正，其中，所述修复规则包括词语之间的词性匹配规则和/或正则匹配规则；

并通过修正结果更新所述通用分词结果。

可选的，根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果，包括：

判断所述通用分词结果中相邻的通用分词是否与所述业务领域专有名词中的专有名词匹配；

若判断结果为是，将所述通用分词结果中所述相邻的通用分词合并为所述专有名词，获得所述领域分词结果。

可选的，所述业务领域专有名词中包含所述业务领域专有的标准词和所述标准词的同义词。

第二方面，本说明书实施例提供一种文本数据的分词装置，该装置包括:

通用分词单元，用于通过通用分词模型对文本数据进行分词获得通用分词结果；

获取单元，用于获取所述文本数据所属业务领域的业务领域专有名词，其中，所述业务领域专有名词采用双数组树结构存储；

领域分词单元，用于根据所述业务领域专有名词和所述通用分词结果对所述文本数据进行分词，获得所述文本数据的领域分词结果。

可选的，所述装置还包括：同义分词单元，用于将所述领域分词结果中的目标分词替换为所述业务领域中的标准词，其中，在所述业务领域内所述目标分词为所述标准词的同义词；获得替换后的所述领域分词结果作为领域同义分词结果。