[发明专利]预训练模型数据处理方法、电子设备及计算机存储介质

权利要求书

1.一种预训练模型数据处理方法，包括：

获取训练样本数据，其中，每个训练样本数据包括多轮表格问答训练样本，每轮表格问答训练样本包括自然语言查询语句和对应的数据库模式数据；

将所述训练样本数据输入预训练模型进行特征提取，获得多轮表格问答训练样本对应的多个样本特征；

基于所述多个样本特征分别对应的正负例标签，以及预设的对比学习损失函数，对所述预训练模型进行训练，其中，所述正负例标签根据所述多个样本特征对应的多个数据库查询语句之间的相似度确定，所述正负例标签用于表征当前样本特征与所述多个样本特征中的其它样本特征是否语义相关；

其中，所述多个样本特征分别对应的正负例标签通过以下方式确定：

获取为所述多轮表格问答训练样本预先生成的多个数据库查询语句；

根据预设的杰卡德函数，计算所述多个数据库查询语句之间的相似度；

根据所述相似度，确定所述多轮表格问答训练样本分别对应的正负例标签；

将所述多轮表格问答训练样本分别对应的正负例标签，作为对应的所述多个样本特征的正负例标签。

2.根据权利要求1所述的方法，其中，所述基于所述多个样本特征分别对应的正负例标签，以及预设的对比学习损失函数，对所述预训练模型进行训练，包括：

通过最小化所述预设的对比学习损失函数，拉近所述正负例标签中指示为正例的样本特征之间的距离，并且，拉远所述正负例标签中指示为负例的样本特征之间的距离；

根据所述对比学习损失函数经最小化处理后的损失值，对所述预训练模型进行训练。

3.根据权利要求1所述的方法，其中，所述将所述训练样本数据输入预训练模型进行特征提取，包括：

将多轮表格问答训练样本中的自然语言查询语句进行第一拼接，获得第一拼接数据；将多轮表格问答训练样本中的数据库模式数据进行第二拼接，获得第二拼接数据；

对第一拼接数据和第二拼接数据进行拼接，并且，在拼接后的自然语言查询语句之间、拼接后的数据库模式数据之间，以及所述自然语言查询语句和所述数据库模式数据之间均插入分隔符；

根据插入分隔符后的拼接数据，生成对应的拼接向量，并将所述拼接向量输入所述预训练模型，通过所述预训练模型进行特征提取。

4.根据权利要求1-3任一项所述的方法，其中，所述方法还包括：

基于训练完成的所述预训练模型的模型参数，进行从所述预训练模型至表格问答系统的模型迁移。

5.根据权利要求4所述的方法，其中，所述基于训练完成的所述预训练模型的模型参数，进行从所述预训练模型至表格问答系统的模型迁移，包括：

通过将训练完成的所述预训练模型中的模型参数迁移至所述表格问答系统的自然语言理解部分，进行从所述预训练模型至表格问答系统的模型迁移。

6.根据权利要求5所述的方法，其中，所述方法还包括：

接收用户输入的当前自然语言查询请求，并获取当前自然语言查询请求之前的预设数量的历史自然语言查询请求，并基于当前自然语言查询请求和历史自然语言查询请求生成多轮自然语言查询请求；

通过所述表格问答系统的自然语言理解部分对所述多轮自然语言查询请求进行分析，确定所述多轮自然语言查询请求中与当前自然语言查询请求具有语义相关性的历史自然语言查询请求；

并根据历史自然语言查询请求和当前自然语言查询请求之间的语义相关性，为当前自然语言查询请求生成对应的数据库查询语句。

7.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的方法对应的操作。

8.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。

9.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-6中任一所述的方法对应的操作。