[发明专利]文本处理方法、装置、电子设备及存储介质

说明书

本公开提供了一种文本处理方法，可以应用于人工智能技术领域。该文本处理方法包括：针对待处理文本进行第一预处理，得到至少一个分句文本；将至少一个分句文本输入第一目标模型，得到与至少一个分句文本中每个分句文本对应的类别；针对属于第一类别的至少一个第一分句文本，分别确定每个第一分句文本的至少一个第一文本要素；根据每个第一分句文本和与每个第一分句文本关联的至少一个第一文本要素，分别对每个第一分句文本进行第一处理，得到至少一个目标分句文本；以及针对至少一个目标分句文本，确定与每个目标分句文本分别对应的第二文本要素。本公开还提供了一种文本处理装置、设备、存储介质和程序产品。

技术领域

本公开涉及人工智能领域，具体涉及文本分类，更具体地涉及一种文本处理方法、装置、电子设备、存储介质和程序产品。

背景技术

目前，针对待处理文本进行文本要素提取时，采用的方法包括基于正则表达式进行正则匹配和序列标注模型。

基于正则表达式进行正则匹配进行文本要素提取时，需要预设大量的正则表达式，以满足确定文本要素的需求。基于序列标注模型进行文本要素提取时，在训练序列标注模型时，用于训练的标注样本是由大规模预训练语言模型对待处理文本进行处理得到的。由于大规模与训练语言模型所需的资源较多，推理速度过慢，当文本长度过长时，会导致系统出现宕机风险，不满足在线处理待处理文本的要求。

此外，目前针对待处理文本，进行序列标注后得到的文本要素和与每个文本要素对应的分句文本需要工作人员检验，并针对错误的文本要素和与每个文本要素对应的分句文本进行人工修正，以提高文本处理的准确率。

发明内容

鉴于上述问题，本公开提供了提高文本要素提取准确率的文本处理方法、装置、电子设备、存储介质和程序产品。

根据本公开的第一个方面，提供了一种文本处理方法，包括：针对待处理文本进行第一预处理，得到至少一个分句文本；将所述至少一个分句文本输入第一目标模型，得到与所述至少一个分句文本中每个分句文本对应的类别；针对属于第一类别的至少一个第一分句文本，分别确定每个第一分句文本的至少一个第一文本要素；根据每个第一分句文本和与所述每个第一分句文本关联的至少一个第一文本要素，分别对所述每个第一分句文本进行第一处理，得到至少一个目标分句文本；以及针对所述至少一个目标分句文本，确定与每个目标分句文本分别对应的第二文本要素。

根据本公开的实施例，所述将所述至少一个分句文本输入第一目标模型，得到与所述至少一个分句文本中每个分句文本对应的类别包括：将所述至少一个分句文本输入句向量转换模型，确定与每个分句文本分别对应的分句向量，得到至少一个分句向量；根据分类函数，确定与每个分句向量对应的数值；以及根据所述与每个分句向量对应的数值，确定所述每个分句文本所属的类别。

根据本公开的实施例，所述根据每个第一分句文本和与所述每个第一分句文本关联的至少一个第一文本要素，分别对所述每个第一分句文本进行第一处理，得到至少一个目标分句文本包括：根据每个第一分句文本和与所述每个第一分句文本关联的至少一个第一文本要素，分别确定每个第一文本要素所属的类型；以及根据所述类型，分别对与所述每个第一文本要素关联的第一分句文本进行第一处理，得到至少一个目标分句文本。

根据本公开的实施例，所述根据每个第一分句文本和与所述每个第一分句文本关联的至少一个第一文本要素，分别确定每个第一文本要素所属的类型包括：在确定多个不同的第一文本要素与所述第一分句文本关联的情况下，确定所述多个不同的第一文本要素属于第一类型；在确定至少一个第一文本要素中存在连续两个相同的第一文本要素一致的情况下，确定所述连续两个相同的第一文本要素属于第二类型；以及在确定第一文本要素与正则表达式库中的第一文本要素一致的情况下，确定所述第一文本要素属于第三类型。