[发明专利]文本的标准化处理方法、装置、电子设备及计算机介质

权利要求书

1.一种文本的标准化处理方法，其特征在于，包括：

获取待处理的原始文本，并对所述原始文本进行拆分，得到所述原始文本中的各个待识别文本成分；

获取通过标准文本成分集合预先训练的文本成分识别模型，并通过所述文本成分识别模型确定所述待识别文本成分中的第一可识别文本成分和未识别文本成分；

对所述未识别文本成分进行标准化校正；

通过所述文本成分识别模型确定校正后的所述未识别文本成分中的第二可识别文本成分；其中，所述第一可识别文本成分和所述第二可识别文本成分属于所述标准文本成分集合；

根据所述第一可识别文本成分和所述第二可识别文本成分，得到所述原始文本的标准化文本。

2.根据权利要求1所述的文本的标准化处理方法，其特征在于，所述文本成分识别模型的训练过程包括：

获取标准文本集合，并对所述标准文本集合中的各个标准文本进行拆分，得到所述标准文本中的各个标准文本成分；

对所述标准文本成分添加对应的类型标签，并获取各个所述标准文本成分对应的同义文本成分；

根据所述标准文本成分和各个所述标准文本成分对应的同义文本成分，得到所述标准文本成分集合；

根据所述标准文本成分集合中带有所述类型标签的所述标准文本成分和对应的同义文本成分，训练所述文本成分识别模型。

3.根据权利要求1所述的文本的标准化处理方法，其特征在于，所述通过所述文本成分识别模型确定所述待识别文本成分中的第一可识别文本成分和未识别文本成分，包括：

将所述待识别文本成分添加对应的类型标签后，输入所述文本成分识别模型；

通过所述文本成分识别模型判断所述待识别文本成分是否属于所述标准文本成分集合中的所述类型标签中对应的标准文本成分或同义文本成分；

若所述待识别文本成分属于所述类型标签中对应的标准文本成分或同义文本成分，则将所述待识别文本成分确定为第一可识别文本成分；

若所述待识别文本成分不属于所述类型标签中对应的标准文本成分或同义文本成分，则将所述待识别文本成分确定为未识别文本成分。

4.根据权利要求3所述的文本的标准化处理方法，其特征在于，在所述通过所述文本成分识别模型确定所述待识别文本成分中的第一可识别文本成分和未识别文本成分之后，所述方法还包括：

若所述第一可识别文本成分为所述同义文本成分，则将所述第一可识别文本成分转换为与所述同义文本成分对应的标准文本成分。

5.根据权利要求1所述的文本的标准化处理方法，其特征在于，所述对所述未识别文本成分进行标准化校正，包括：

若所述未识别文本成分为错误文本成分，则对所述错误文本成分进行拆分，得到所述错误文本成分的各个子文本成分；

根据所述子文本成分与所述标准文本成分和同义文本成分的相似度，从所述标准文本成分集合中确定与所述错误文本成分对应的正确文本成分；

根据所述正确文本成分对所述错误文本成分进行校正，得到校正后的所述未识别文本成分。

6.根据权利要求1所述的文本的标准化处理方法，其特征在于，所述对所述未识别文本成分进行标准化校正，包括：

若所述未识别文本成分为缩写文本成分，则根据所述缩写文本成分与所述标准文本成分和同义文本成分进行匹配，从所述标准文本成分集合中确定与所述缩写文本成分对应的完整文本成分；

根据所述完整文本成分对所述缩写文本成分进行校正，得到校正后的所述未识别文本成分。

7.根据权利要求1所述的文本的标准化处理方法，其特征在于，所述根据所述第一可识别文本成分和所述第二可识别文本成分，得到所述原始文本的标准化文本，包括：

获取所述原始文本的应用需求，并根据所述应用需求从所述第一可识别文本成分和所述第二可识别文本成分中获取目标文本成分；

根据所述目标文本成分按照预设文本顺序得到所述原始文本的标准化文本。