[发明专利]文本的分类方法及装置

说明书

本申请公开了一种文本的分类方法及装置。该方法包括：获取目标文本；判断目标文本中是否包含预设标识，其中，预设标识用于确定目标文本对应的文本类型；以及如果目标文本中不包含预设标识，根据文本类型特征模型判别目标文本所属的文本类型，其中，文本类型特征模型为对多个文本的文本类型进行学习后生成的模型，多个文本至少包括：包含预设标识的文本。通过本申请，解决了相关技术中无法确定不规律的文本的所属的文本类型问题。

技术领域

本申请涉及文本分类技术领域，具体而言，涉及一种文本的分类方法及装置。

背景技术

在一些系统中每天会接收到许多有规律或无规律的文本数据，例如，每天各区域会在安全监督系统中上报所发生的安全事故，但是所有上报的内容为文本数据，为非结构化的数据，因此需要对所有发生的安全事故的类别进行自动分类。相关技术中是通过对文本中的特殊标记进行提取解析，例如，“A市一废弃老桥在拆除过程中发生坍塌事故，造成3人下落不明”，通过规则提取文本的分类，如提取以“发生”为开始，以“事故”为结尾的中间部分的内容，作为文本的类型。然而在上报的安全事故的文本中，可能部分文本是存在一定的规律，部分文本是无规律的。相关技术中的方法只能对存在规律的文本进行分类，确定存在规律的文本对应的文本类型，而对不规律的文本是无法进行分类，无法确定不规律的文本的所属的文本类型。

针对相关技术中无法确定不规律的文本的所属的文本类型问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种文本的分类方法及装置，以解决相关技术中无法确定不规律的文本的所属的文本类型问题。

为了实现上述目的，根据本申请的一个方面，提供了一种文本的分类方法。该方法包括：获取目标文本；判断目标文本中是否包含预设标识，其中，预设标识用于确定目标文本对应的文本类型；以及如果目标文本中不包含预设标识，根据文本类型特征模型判别目标文本所属的文本类型，其中，文本类型特征模型为对多个文本的文本类型进行学习后生成的模型，多个文本至少包括：包含预设标识的文本。

进一步地，在根据文本类型特征模型判别目标文本所属的文本类型之前，该方法包括：获取包含预设标识的文本；确定包含预设标识的文本的文本类型；从包含预设标识的文本中提取目标词；以及基于包含预设标识的文本的文本类型和目标词进行学习，生成文本类型特征模型。

进一步地，文本类型特征模型包括：多个目标词和每个目标词对应的文本类型，根据文本类型特征模型判别目标文本所属的文本类型包括：对目标文本进行分词提取；将提取到的分词与文本类型特征模型中的多个目标词进行匹配；以及若匹配成功，将在文本类型特征模型中匹配到的目标词对应的文本类型作为目标文本所属的文本类型。

进一步地，在将提取到的分词与文本类型特征模型中的多个目标词进行匹配之后，该方法包括：若匹配失败，对目标文本进行标记并根据标记确定目标文本对应的文本类型；以及对目标文本对应的文本类型和提取到的分词进行学习，以更新文本类型特征模型。

进一步地，从包含预设标识的文本中提取目标词包括：对包含预设标识的文本进行分词处理，得到分词集合，其中，分词集合中包括多个分词；按照第一预设条件对分词集合中的分词进行过滤；从过滤后的分词集合中提取符合第二预设条件的分词；以及将提取到的分词作为目标词。

为了实现上述目的，根据本申请的另一方面，提供了一种文本的分类装置。该装置包括：第一获取单元，用于获取目标文本；判断单元，用于判断目标文本中是否包含预设标识，其中，预设标识用于确定目标文本对应的文本类型；以及判别单元，用于在目标文本中不包含预设标识的情况下，根据文本类型特征模型判别目标文本所属的文本类型，其中，文本类型特征模型为对多个文本的文本类型进行学习后生成的模型，多个文本至少包括：包含预设标识的文本。