[发明专利]特征确定模型的训练方法、语义分析方法、装置及电子设备

权利要求书

1.一种对特征确定模型进行预训练的方法，所述特征确定模型包括多级特征确定层，所述方法包括：

由多级特征确定层确定预训练文本包括的多个片段中的每个片段的特征向量；以及

根据所述特征向量执行对所述特征确定模型的预训练，

其中，所述由多级特征确定层确定预训练文本包括的多个片段中的每个片段的特征向量包括：由当前级特征确定层针对多个片段中的一个片段，

根据由所述当前级特征确定层针对所述一个片段的在前片段确定的在前片段特征向量和由所述当前级特征确定层的在前级特征确定层针对所述一个片段确定的在前级特征向量，确定针对所述一个片段的当前级特征向量，

其中，所述特征确定模型还包括多个参数化模型，其中通过循环神经网络RNN模型或transformer模型来实现各参数化模型，

其中，所述确定针对所述一个片段的当前级特征向量包括：

由所述多个参数化模型中的至少一个对在前片段特征向量进行参数化，以得到在前片段特征向量的参数化结果；以及

根据所述参数化结果和在前级特征向量，确定针对所述一个片段的当前级特征向量，

其中，所述方法还包括：

在由所述多级特征确定层确定所述多个片段中的第一个片段的特征向量之前，插入虚拟片段；以及

由所述多级特征确定层确定所述虚拟片段的特征向量，并且，

其中，所述由所述多级特征确定层确定所述多个片段中的第一个片段的特征向量包括：由当前级特征确定层，根据由所述当前级特征确定层针对所述虚拟片段确定的虚拟片段特征向量和由所述在前级特征确定层针对所述第一个片段确定的在前级特征向量，确定针对所述第一个片段的当前级特征向量，

其中，所述多个参数化模型包括针对较低级特征确定层的第一参数化模型和针对较高级特征确定层的第二参数化模型，其中，所述第一参数化模型和所述第二参数化模型是不同配置的，所述第一参数化模型被配置为具有较少的参数，且所述第二参数化模型被配置为具有比所述第一参数化模型更多的参数。

2.根据权利要求1所述的方法，其中，所述确定针对所述一个片段的当前级特征向量包括：

由第q级特征确定层针对第p个片段，根据由第q级特征确定层针对第p-1个片段确定的在前片段特征向量和由第q-1级特征确定层针对第p个片段确定的在前级特征向量，确定第p个片段的当前级特征向量，其中1＜p≤M且1＜q≤N，M为多个片段的数目，N为特征确定层的数目。

3.根据权利要求1所述的方法，其中，所述多个片段是顺序排列的。