[发明专利]一种文本分词方法、装置、存储介质及电子设备

说明书

本申请提出一种文本分词方法、装置、存储介质及电子设备，首先，依据输入文本中的标识符号，对输入文本进行分割，以获得预分词集合，其中，预分词集合包括至少一组待确认短语，待确认短语为输入文本的一部分；依据标准词性链条集合和待确认短语的词性链，从待确认短语中筛选出目标短语，其中，标准词性链条集合包括至少一条标准词性链，目标短语的词性链为标准词性链，目标短语为待确认短语中的连续的一部分。基于原始分词基础通过标准词性链上再加工，准确的把较为完整的短语提取出来，更准确的提取文本短语信息。将目标短语作为最终的分词结果，以获得文本中原本想表达的意思，保障了分词结果对用户的可用性和准确性。

技术领域

本申请涉及自然语言处理技术领域，具体而言，涉及一种文本分词方法、装置、存储介质及电子设备。

背景技术

随着互联网的发展，越来越多的人开始使用，互联网用户的数量急速增长。用户习惯在互联网上通过文本进行沟通和分享，当下互联网用户的数量巨大，也伴随着互联网上的文本数量巨大。如何对数量巨大的文本进行有效信息提取，成为了当下需要解决的问题。

发明内容

本申请的目的在于提供一种文本分词方法、装置、存储介质及电子设备，以至少部分改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种文本分词方法，所述方法包括；

依据输入文本中的标识符号，对所述输入文本进行分割，以获得预分词集合，其中，所述预分词集合包括至少一组待确认短语，所述待确认短语为所述输入文本的一部分；

依据标准词性链条集合和所述待确认短语的词性链，从所述待确认短语中筛选出目标短语，其中，所述标准词性链条集合包括至少一条标准词性链，所述目标短语的词性链为所述标准词性链，所述目标短语为所述待确认短语中的连续的一部分。

第二方面，本申请实施例提供一种文本分词装置，所述装置包括；

第一分词单元，用于依据输入文本中的标识符号，对所述输入文本进行分割，以获得预分词集合，其中，所述预分词集合包括至少一组待确认短语，所述待确认短语为所述输入文本的一部分；

第二分词单元，用于依据标准词性链条集合和所述待确认短语的词性链，从所述待确认短语中筛选出目标短语，其中，所述标准词性链条集合包括至少一条标准词性链，所述目标短语的词性链为所述标准词性链，所述目标短语为所述待确认短语中的连续的一部分。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。

第四方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现上述的方法。

相对于现有技术，本申请实施例所提供的一种文本分词方法、装置、存储介质及电子设备，首先，依据输入文本中的标识符号，对输入文本进行分割，以获得预分词集合，其中，预分词集合包括至少一组待确认短语，待确认短语为输入文本的一部分；依据标准词性链条集合和待确认短语的词性链，从待确认短语中筛选出目标短语，其中，标准词性链条集合包括至少一条标准词性链，目标短语的词性链为标准词性链，目标短语为待确认短语中的连续的一部分。基于原始分词基础通过标准词性链上再加工，准确的把较为完整的短语提取出来，更准确的提取文本短语信息。将目标短语作为最终的分词结果，以获得文本中原本想表达的意思，保障了分词结果对用户的可用性和准确性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明