[发明专利]一种语义分析模型生成方法、语义分析方法、装置及设备

说明书

本申请实施例公开了一种语义分析模型生成方法、语义分析方法、装置及设备，预训练生成编码器，将该编码器作为原型网络的编码器，并将第一待训练数据集输入原型网络，利用原型网络中的编码器获得各个第一待训练数据的编码向量，根据每个分类对应的第一待训练数据的编码向量获得该分类对应的原型向量。将第二待训练数据集合中的第二待训练数据输入原型网络，获得第二待训练数据与各分类的原型向量之间的距离。根据第二待训练数据与各分类之间的距离以及第二待训练数据对应的分类标签对原型网络进行训练，获得语义分析模型。即，在训练生成语义分析模型时，对模型中的编码器进行预先训练，使得该编码器获得先验知识，提高编码的准确性。

技术领域

本申请涉及计算机处理技术，具体涉及一种语义分析模型生成方法、语义分析方法、装置及设备。

背景技术

意图理解是对话任务的重要模块，在新业务初期，由于每个意图往往只有几个或几十个样本，使得意图理解遇到冷启动问题。现有的小样本模型都是针对数据稀缺匮乏的小样本问题进行研究，但是真实业务场景的小样本数据集可能存在意图复杂且数据中各个意图的数量不均衡的情况。如何解决现有小样本模型在意图不均衡的复杂小样本数据上能够进行准确的语义分析是急需解决的技术问题。

发明内容

有鉴于此，本申请实施例提供一种语义分析模型生成方法、语义分析方法、装置及设备，以提高语义分析的准确性。

为实现上述目的，本申请实施例提供的技术方案如下：

在本申请实施例第一方面，提供了一种语义分析模型生成方法，所述方法包括：

获取第一待训练数据集和第二待训练数据集，所述第一待训练数据集包括多个第一待训练数据，所述第二待训练数据集包括多个第二待训练数据，所述多个第一待训练数据对应的多个分类与所述多个第二待训练数据对应的多个分类相同，所述分类用于表示所述第一待训练数据或所述第二待训练数据的语义；

将所述第一待训练数据集输入原型网络，利用所述原型网络中的编码器获得每个分类对应的原型向量；

针对任一第二待训练数据，将该第二待训练数据输入所述原型网络，获得所述第二待训练数据与各分类的原型向量之间的距离；

根据所述第二待训练数据与各分类的原型向量之间的距离以及所述第二待训练数据对应的分类标签对所述原型网络进行训练，获得语义分析模型。

在本申请实施例第二方面，提供了一种语义分析方法，所述方法包括：

获取待处理数据；

将所述待处理数据输入语义分析模型，获得所述待处理数据对应的编码向量与各分类的原型向量之间的距离，所述语义分析模型是根据第一方面所述的语义分析模型生成方法训练获得的；

将与所述待处理数据距离最小的原型向量对应的分类确定为所述待处理数据对应的分类；

根据所述待处理数据对应的分类获取所述待处理数据的语义。

在本申请实施例第三方面，提供了一种语义分析模型生成装置，所述装置包括：

第一获取单元，用于获取第一待训练数据集和第二待训练数据集，所述第一待训练数据集包括多个第一待训练数据，所述第二待训练数据集包括多个第二待训练数据，所述多个第一待训练数据对应的多个分类与所述多个第二待训练数据对应的多个分类相同，所述分类用于表示所述第一待训练数据或所述第二待训练数据的语义；

第二获取单元，用于将所述第一待训练数据集输入原型网络，利用所述原型网络中的编码器获得每个分类对应的原型向量；

第三获取单元，用于针对任一第二待训练数据，将该第二待训练数据输入所述原型网络，获得所述第二待训练数据与各分类的原型向量之间的距离；