[发明专利]词汇切分方法、装置、终端设备及存储介质

说明书

本申请适用于人工智能技术领域，提供了一种词汇切分方法、装置、终端设备及存储介质，该方法包括：对待切分语句进行实体识别得到第一词汇集，以及将待切分语句与预设字典进行词汇匹配得到第二词汇集；根据预设评分规则，确定第一词汇集和第二词汇集中各词汇的切分评分，将第一词汇集与第二词汇集进行组合，得到组合片段；分别确定组合片段中各字符对应的词汇路径，根据切分评分确定各词汇路径的路径分数；根据各词汇路径的路径分数对待切分语句进行词汇切分，得到切分词汇。本申请通过切分评分确定各词汇路径的路径分数，并根据各词汇路径的路径分数对待切分语句进行词汇切分，可以实现对待切分语句的词汇进行有效切分。

技术领域

本申请涉及人工智能领域，尤其涉及一种词汇切分方法、装置、终端设备及存储介质。

背景技术

随着科技进步和生活水平的提高，越来越多的业务场景开始使用图像的媒介来保存用户的资料。比如在保险领域，用户可以通过提交病例资料(门诊病例、住院病例、化验单等)，个人身份证明资料(身份证、户口本等)给保险公司，保险公司可以通过审核图像资料来判断用户是否满足投保要求或者理赔的要求。在投保的核保阶段，保险公司对病例中诊断提及的疾病是非常重视的。这些疾病都可以作为核保的风险点，对这些风险点做进一步的判断即可作为是否拒保的依据。因此，针对图像中语句的词汇抽取问题越来越受人们所重视。

相关技术中，在对语句进行词汇抽取时，需要对语句中的词汇进行切分，并基于词汇的切分结果得到语句对应的切分词汇。

发明内容

有鉴于此，本申请实施例提供了一种词汇切分方法、装置、终端设备及存储介质，以解决现有技术中，需要对病例中的语句进行词汇切分的问题。

本申请实施例的第一方面提供了一种词汇切分方法，包括：

响应于接收到待切分语句，对所述待切分语句进行实体识别，得到第一词汇集，以及将所述待切分语句与预设字典进行词汇匹配，得到第二词汇集；

根据预设评分规则，分别确定所述第一词汇集和所述第二词汇集中各词汇的切分评分，并将所述第一词汇集中的词汇与所述第二词汇集中的词汇进行组合，得到组合片段；

分别确定所述组合片段中各字符对应的词汇路径，其中，所述词汇路径为相应字符在所述组合片段中形成的字符串，并根据所述切分评分确定各词汇路径的路径分数；

根据各词汇路径的路径分数对所述待切分语句进行词汇切分，得到切分词汇。

进一步地，所述第二词汇集包括第一子词集和第二子词集，所述将所述待切分语句与预设字典进行词汇匹配，得到第二词汇集，包括：

将所述待切分语句与所述预设字典进行词汇匹配，得到所述第一子词集，并对所述待切分语句进行标点识别，得到语句标点；

根据所述语句标点对所述待切分语句进行段落切分，得到语句段落，并将所述语句段落与所述预设字典进行词汇匹配，得到所述第二子词集。

进一步地，所述根据预设评分规则，分别确定所述第一词汇集和所述第二词汇集中各词汇的切分评分，包括：

分别将所述第一词汇集、所述第一子词集和所述第二子词集中的词汇与所述预设字典进行词汇匹配；

若所述第一词汇集、所述第一子词集和所述第二子词集中的词汇与所述预设字典不匹配，则将所述第一词汇集、所述第一子词集和所述第二子词集中的词汇对应的字符数设置为所述切分评分；

若所述第一词汇集、所述第一子词集和所述第二子词集中的词汇与所述预设字典相匹配，则将所述第一词汇集、所述第一子词集和所述第二子词集中的词汇对应预设倍数的字符数设置为所述切分评分。

进一步地，所述将所述第一词汇集中的词汇与所述第二词汇集中的词汇进行组合，得到组合片段，包括：