[发明专利]特征确定模型的训练方法、语义分析方法、装置及电子设备

说明书

本公开提供了一种特征确定模型的训练方法，涉及深度学习和自然语言处理的技术领域。具体方案包括：由特征确定模型包括的多级特征确定层确定预训练文本包括的多个片段中的每个片段的特征向量；以及根据特征向量执行对特征确定模型的预训练，由多级特征确定层确定预训练文本包括的每个片段的特征向量包括：由当前级特征确定层，根据由当前级特征确定层针对在前片段确定的在前片段特征向量和由在前级特征确定层针对一个片段确定的在前级特征向量，确定针对一个片段的当前级特征向量。本公开还提供了一种针对目标任务对特征确定模型进行训练的方法、一种针对目标任务的语义分析方法、装置、电子设备、计算机存储介质以及计算机程序产品。

技术领域

本公开涉及深度学习和自然语言处理的技术领域，具体地，涉及文本分析，更具体地，涉及一种文本分析模型的训练方法、一种针对目标任务对特征确定模型进行训练的方法、一种针对目标任务的语义分析方法、装置、电子设备、计算机存储介质以及计算机程序产品。

背景技术

随着人工智能领域的飞速发展，自然语言处理技术作为人工智能领域的磐石，得到越来越多的关注。通过超强算力在海量文本数据上训练超大参数量的模型，可以使训练出的模型具有多任务、少样本的通用语义理解能力。然而，由于系统计算能力有限，导致在这种庞大模型下的参数调整变得困难。

发明内容

本公开提供了一种特征确定模型的训练方法、一种针对目标任务对特征确定模型进行训练的方法、一种针对目标任务的语义分析方法、装置、电子设备、计算机存储介质以及计算机程序产品。

根据本公开的一方面，提供了一种对特征确定模型进行预训练的方法，所述特征确定模型包括多级特征确定层，所述方法包括：

由多级特征确定层确定预训练文本包括的多个片段中的每个片段的特征向量；以及

根据所述特征向量执行对所述特征确定模型的预训练，

其中，所述由多级特征确定层确定预训练文本包括的多个片段中的每个片段的特征向量包括：由当前级特征确定层针对多个片段中的一个片段，

根据由所述当前级特征确定层针对所述一个片段的在前片段确定的在前片段特征向量和由所述当前级特征确定层的在前级特征确定层针对所述一个片段确定的在前级特征向量，确定针对所述一个片段的当前级特征向量。

根据本公开的另一方面，提供了一种针对目标任务对特征确定模型进行训练的方法，包括：

由特征确定模型确定待处理文本的特征向量；以及

基于所述待处理文本的特征向量，预测所述待处理文本针对所述目标任务的分析结果；以及

基于所述分析结果，调整所述特征确定模型，以使所述分析结果的损失值收敛，

其中，所述特征确定模型包括多级特征确定层，所述待处理文本包括多个片段；

其中，所述由特征确定模型确定待处理文本的特征向量包括：由当前级特征确定层针对多个片段中的一个片段，

根据由所述当前级特征确定层针对所述一个片段的在前片段确定的在前片段特征向量和由所述当前级特征确定层的在前级特征确定层针对所述一个片段确定的在前级特征向量，确定针对所述一个片段的当前级特征向量。

根据本公开的再一方面，提供了一种针对目标任务的语义分析方法，包括：

由特征确定模型确定待处理文本的特征向量；以及

基于所述待处理文本的特征向量，获得所述待处理文本针对目标任务的分析结果，

其中所述特征确定模型是根据上述示例实施例所述的方法训练的。

根据本公开的另一方面，提供了一种对特征确定模型进行预训练的装置，所述特征确定模型包括多级特征确定层，所述装置包括：